]> git.openstreetmap.org Git - chef.git/blobdiff - cookbooks/planet/files/default/replication-bin/replicate-changesets
Convert nginx_site to an LWRP
[chef.git] / cookbooks / planet / files / default / replication-bin / replicate-changesets
index b472d795291a16e83a251c918bd9c9b7e1f9c81b..87acbcccb0862b74a33b765df28672fd8c824e4f 100644 (file)
@@ -9,10 +9,10 @@ require 'xml/libxml'
 require 'zlib'
 
 # after this many changes, a changeset will be closed
 require 'zlib'
 
 # after this many changes, a changeset will be closed
-CHANGES_LIMIT=50000
+CHANGES_LIMIT = 50000
 
 # this is the scale factor for lat/lon values stored as integers in the database
 
 # this is the scale factor for lat/lon values stored as integers in the database
-GEO_SCALE=10000000
+GEO_SCALE = 10000000
 
 ##
 # changeset class keeps some information about changesets downloaded from the
 
 ##
 # changeset class keeps some information about changesets downloaded from the
@@ -33,7 +33,7 @@ class Changeset
   end
 
   def open?(t)
   end
 
   def open?(t)
-    not closed?(t)
+    !closed?(t)
   end
 
   def activity_between?(t1, t2)
   end
 
   def activity_between?(t1, t2)
@@ -57,16 +57,16 @@ class Replicator
     last_run = (@now - 60) if last_run.nil?
     @state['last_run'] = @now
     # pretty much all operations on a changeset will modify its closed_at
     last_run = (@now - 60) if last_run.nil?
     @state['last_run'] = @now
     # pretty much all operations on a changeset will modify its closed_at
-    # time (see rails_port's changeset model). so it is probably enough 
+    # time (see rails_port's changeset model). so it is probably enough
     # for us to look at anything that was closed recently, and filter from
     # there.
     # for us to look at anything that was closed recently, and filter from
     # there.
-    @conn.
-      exec("select id, created_at, closed_at, num_changes from changesets where closed_at > ((now() at time zone 'utc') - '1 hour'::interval)").
-      map {|row| Changeset.new(row) }.
-      select {|cs| cs.activity_between?(last_run, @now) }
+    @conn
+      .exec("select id, created_at, closed_at, num_changes from changesets where closed_at > ((now() at time zone 'utc') - '1 hour'::interval)")
+      .map { |row| Changeset.new(row) }
+      .select { |cs| cs.activity_between?(last_run, @now) }
   end
 
   end
 
-  # creates an XML file containing the changeset information from the 
+  # creates an XML file containing the changeset information from the
   # list of changesets output by open_changesets.
   def changeset_dump(changesets)
     doc = XML::Document.new
   # list of changesets output by open_changesets.
   def changeset_dump(changesets)
     doc = XML::Document.new
@@ -75,8 +75,8 @@ class Replicator
       'generator' => 'replicate_changesets.rb',
       'copyright' => "OpenStreetMap and contributors",
       'attribution' => "http://www.openstreetmap.org/copyright",
       'generator' => 'replicate_changesets.rb',
       'copyright' => "OpenStreetMap and contributors",
       'attribution' => "http://www.openstreetmap.org/copyright",
-      'license' => "http://opendatacommons.org/licenses/odbl/1-0/" }.
-      each { |k,v| doc.root[k] = v }
+      'license' => "http://opendatacommons.org/licenses/odbl/1-0/" }
+      .each { |k, v| doc.root[k] = v }
 
     changesets.each do |cs|
       xml = XML::Node.new("changeset")
 
     changesets.each do |cs|
       xml = XML::Node.new("changeset")
@@ -84,16 +84,16 @@ class Replicator
       xml['created_at'] = cs.created_at.getutc.xmlschema
       xml['closed_at'] = cs.closed_at.getutc.xmlschema if cs.closed?(@now)
       xml['open'] = cs.open?(@now).to_s
       xml['created_at'] = cs.created_at.getutc.xmlschema
       xml['closed_at'] = cs.closed_at.getutc.xmlschema if cs.closed?(@now)
       xml['open'] = cs.open?(@now).to_s
-      xml['num_changes'] = cs.num_changes
+      xml['num_changes'] = cs.num_changes.to_s
 
       res = @conn.exec("select u.id, u.display_name, c.min_lat, c.max_lat, c.min_lon, c.max_lon from users u join changesets c on u.id=c.user_id where c.id=#{cs.id}")
       xml['user'] = res[0]['display_name']
       xml['uid'] = res[0]['id']
 
 
       res = @conn.exec("select u.id, u.display_name, c.min_lat, c.max_lat, c.min_lon, c.max_lon from users u join changesets c on u.id=c.user_id where c.id=#{cs.id}")
       xml['user'] = res[0]['display_name']
       xml['uid'] = res[0]['id']
 
-      unless (res[0]['min_lat'].nil? ||
-              res[0]['max_lat'].nil? ||
-              res[0]['min_lon'].nil? ||
-              res[0]['max_lon'].nil?)
+      unless res[0]['min_lat'].nil? ||
+             res[0]['max_lat'].nil? ||
+             res[0]['min_lon'].nil? ||
+             res[0]['max_lon'].nil?
         xml['min_lat'] = (res[0]['min_lat'].to_f / GEO_SCALE).to_s
         xml['max_lat'] = (res[0]['max_lat'].to_f / GEO_SCALE).to_s
         xml['min_lon'] = (res[0]['min_lon'].to_f / GEO_SCALE).to_s
         xml['min_lat'] = (res[0]['min_lat'].to_f / GEO_SCALE).to_s
         xml['max_lat'] = (res[0]['max_lat'].to_f / GEO_SCALE).to_s
         xml['min_lon'] = (res[0]['min_lon'].to_f / GEO_SCALE).to_s
@@ -110,7 +110,7 @@ class Replicator
 
       doc.root << xml
     end
 
       doc.root << xml
     end
-    
+
     doc.to_s
   end
 
     doc.to_s
   end
 
@@ -119,8 +119,8 @@ class Replicator
     File.open(@config['state_file'], "r") do |fl|
       fl.flock(File::LOCK_EX)
 
     File.open(@config['state_file'], "r") do |fl|
       fl.flock(File::LOCK_EX)
 
-      sequence = (@state.has_key?('sequence') ? @state['sequence'] + 1 : 0)
-      data_file = @config['data_dir'] + sprintf("/%03d/%03d/%03d.osm.gz", sequence / 1000000, (sequence / 1000) % 1000, (sequence % 1000));
+      sequence = (@state.key?('sequence') ? @state['sequence'] + 1 : 0)
+      data_file = @config['data_dir'] + format("/%03d/%03d/%03d.osm.gz", sequence / 1000000, (sequence / 1000) % 1000, (sequence % 1000))
       tmp_state = @config['state_file'] + ".tmp"
       tmp_data = "/tmp/changeset_data.osm.tmp"
       # try and write the files to tmp locations and then
       tmp_state = @config['state_file'] + ".tmp"
       tmp_data = "/tmp/changeset_data.osm.tmp"
       # try and write the files to tmp locations and then
@@ -150,4 +150,3 @@ end
 
 rep = Replicator.new(ARGV[0])
 rep.save!
 
 rep = Replicator.new(ARGV[0])
 rep.save!
-