cookbooks/tile/templates/default/replicate.erb

   1 #!/bin/bash
   2
   3 # DO NOT EDIT - This file is being maintained by Chef
   4
   5 # Before running updates, the replication needs to be set up with the timestamp
   6 # set to the day of the latest planet dump. Setting to midnight ensures we get
   7 # conistent data after first run. osmosis --read-replication-interval-init is
   8 # used to initially create the state file
   9
  10 # Define exit handler
  11 function onexit {
  12     [ -f sequence-prev.txt ] && mv sequence-prev.txt sequence.txt
  13 }
  14
  15 # Send output to the log
  16 exec > /var/log/tile/replicate.log 2>&1
  17
  18 # Change to the replication state directory
  19 cd /var/lib/replicate
  20
  21 # Install exit handler
  22 trap onexit EXIT
  23
  24 # Loop indefinitely
  25 while true
  26 do
  27     # Work out the name of the next file
  28     file="changes-$(cat sequence.txt).osc.gz"
  29
  30     # Save sequence file so we can rollback if an error occurs
  31     cp sequence.txt sequence-prev.txt
  32
  33     # Fetch the next set of changes
  34     pyosmium-get-changes --server=<%= node[:tile][:replication][:url] %> --sequence-file=sequence.txt --outfile=${file}
  35
  36     # Save exit status
  37     status=$?
  38
  39     # Check for errors
  40     if [ $status -eq 0 ]
  41     then
  42         # Enable exit on error
  43         set -e
  44
  45         # Log the new data
  46         echo "Fetched new data from $(cat sequence-prev.txt) to $(cat sequence.txt) into ${file}"
  47
  48         # Apply the changes to the database
  49         osm2pgsql --database gis --slim --append --number-processes=1 \
  50 <% if node[:tile][:database][:node_file] -%>
  51                   --flat-nodes=<%= node[:tile][:database][:node_file] %> \
  52 <% end -%>
  53 <% if node[:tile][:database][:multi_geometry] -%>
  54                   --multi-geometry \
  55 <% end -%>
  56 <% if node[:tile][:database][:hstore] -%>
  57                   --hstore \
  58 <% end -%>
  59 <% if node[:tile][:database][:style_file] -%>
  60                   --style=<%= node[:tile][:database][:style_file] %> \
  61 <% end -%>
  62 <% if node[:tile][:database][:tag_transform_script] -%>
  63                   --tag-transform-script=<%= node[:tile][:database][:tag_transform_script] %> \
  64 <% end -%>
  65                   ${file}
  66
  67         # No need to rollback now
  68         rm sequence-prev.txt
  69
  70         # Get buffer count
  71         buffers=$(osmium fileinfo --extended --get=data.buffers.count ${file})
  72
  73         # If this diff has content mark it as the latest diff
  74         if [ $buffers -gt 0 ]
  75         then
  76             ln -f ${file} changes-latest.osc.gz
  77         fi
  78
  79         # Queue these changes for expiry processing
  80         ln ${file} expire-queue/${file}
  81
  82         # Delete old downloads
  83         find . -name 'changes-*.gz' -mmin +300 -exec rm -f {} \;
  84
  85         # Disable exit on error
  86         set +e
  87     elif [ $status -eq 3 ]
  88     then
  89         # Log the lack of data
  90         echo "No new data available. Sleeping..."
  91
  92         # Remove file, it will just be an empty changeset
  93         rm ${file}
  94
  95         # Sleep for a short while
  96         sleep 30
  97     else
  98         # Log our failure to fetch changes
  99         echo "Failed to fetch changes - waiting a few minutes before retry"
 100
 101         # Remove any output that was produced
 102         rm -f ${file}
 103
 104         # Wait five minutes and have another go
 105         sleep 300
 106     fi
 107 done