cookbooks/tile/templates/default/replicate.erb

   1 #!/bin/bash
   2
   3 # DO NOT EDIT - This file is being maintained by Chef
   4
   5 # Initialize timestamp with day of latest planet dump
   6 # Setting to midnight ensures we get conistent data after first run
   7 # osmosis --read-replication-interval-init
   8
   9 # Send output to the log
  10 exec > /var/log/tile/replicate.log 2>&1
  11
  12 # Change to the replication state directory
  13 cd /var/lib/replicate
  14
  15 # Read in initial state
  16 . state.txt
  17
  18 # Loop indefinitely
  19 while true
  20 do
  21     # Work out the name of the next file
  22     file="changes-${sequenceNumber}.osm.gz"
  23
  24     # Fetch the next set of changes
  25     osmosis --read-replication-interval --simc --write-xml-change file="${file}" compressionMethod="gzip"
  26
  27     # Check for errors
  28     if [ $? -eq 0 ]
  29     then
  30         # Enable exit on error
  31         set -e
  32
  33         # Remember the previous sequence number
  34         prevSequenceNumber=$sequenceNumber
  35
  36         # Read in new state
  37         . state.txt
  38
  39         # Did we get any new data?
  40         if [ "${sequenceNumber}" == "${prevSequenceNumber}" ]
  41         then
  42             # Log the lack of data
  43             echo "No new data available. Sleeping..."
  44
  45             # Remove file, it will just be an empty changeset
  46             rm ${file}
  47
  48             # Sleep for a short while
  49             sleep 30
  50         else
  51             # Log the new data
  52             echo "Fetched new data from ${prevSequenceNumber} to ${sequenceNumber} into ${file}"
  53
  54             # Apply the changes to the database
  55 <% if node[:tile][:node_file] -%>
  56             osm2pgsql --slim --append --flat-nodes=<%= node[:tile][:node_file] %> ${file}
  57 <% else -%>
  58             osm2pgsql --slim --append ${file}
  59 <% end -%>
  60
  61             # Expire tiles which are touched by the changes
  62             sudo -u www-data /usr/local/bin/expire-tiles ${file} > /dev/null 2>&1 &
  63         fi
  64
  65         # Delete old downloads
  66         find . -name 'changes-*.gz' -mmin +300 -exec rm -f {} \;
  67
  68         # Disable exit on error
  69         set +e
  70     else
  71         # Log our failure to fetch changes
  72         echo "Failed to fetch changes - waiting a few minutes before retry"
  73
  74         # Wait five minutes and have another go
  75         sleep 300
  76     fi
  77 done