]> git.openstreetmap.org Git - chef.git/blobdiff - cookbooks/tile/templates/default/export.erb
projects / chef.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | tree
raw | inline | side by side
Add support for referer blocks in tile server export script
[chef.git] / cookbooks / tile / templates / default / export.erb
diff --git a/cookbooks/tile/templates/default/export.erb b/cookbooks/tile/templates/default/export.erb
old mode 100755 (executable)
new mode 100644 (file)
index 8dd209b..b9f3896
--- a/cookbooks/tile/templates/default/export.erb
+++ b/cookbooks/tile/templates/default/export.erb
@@ -3,12 +3,13 @@
 
 import cairo
 import cgi
 
 import cairo
 import cgi
-import mapnik2
+import mapnik
 import os
 import shutil
 import sys
 import tempfile
 import resource
 import os
 import shutil
 import sys
 import tempfile
 import resource
+import signal
 
 # Limit maximum CPU time
 # The Postscript output format can sometimes take hours
 
 # Limit maximum CPU time
 # The Postscript output format can sometimes take hours
@@ -37,7 +38,8 @@ def file_size(file):
   return os.fstat(file.fileno()).st_size
 
 # Routine to report an error
   return os.fstat(file.fileno()).st_size
 
 # Routine to report an error
-def output_error(message):
+def output_error(message, status = "400 Bad Request"):
+  print "Status: %s" % status
   output_headers("text/html")
   print "<html>"
   print "<head>"
   output_headers("text/html")
   print "<html>"
   print "<head>"
@@ -57,18 +59,22 @@ if not os.environ.has_key('HTTP_USER_AGENT'):
   os.environ['HTTP_USER_AGENT'] = 'NONE'
 
 # Get the load average
   os.environ['HTTP_USER_AGENT'] = 'NONE'
 
 # Get the load average
-loadavg = float(open("/proc/loadavg").readline().split(" ")[0])
+cputimes = [float(n) for n in open("/proc/stat").readline().rstrip().split()[1:-1]]
+idletime = cputimes[3] / sum(cputimes)
 
 # Process the request
 
 # Process the request
-if loadavg > 35.0:
-  # Abort if the load average on the machine is too high
-  print "Status: 503 Service Unavailable"
-  output_error("The load average on the server is too high at the moment. Please wait a few minutes before trying again.")
+if idletime < 0.2:
+  # Abort if the CPU idle time on the machine is too low
+  output_error("The server is too busy at the moment. Please wait a few minutes before trying again.", "503 Service Unavailable")
 <% @blocks["user_agents"].each do |user_agent| -%>
 elif os.environ['HTTP_USER_AGENT'] == '<%= user_agent %>':
   # Block scraper
 <% @blocks["user_agents"].each do |user_agent| -%>
 elif os.environ['HTTP_USER_AGENT'] == '<%= user_agent %>':
   # Block scraper
-  print "Status: 503 Service Unavailable"
-  output_error("The load average on the server is too high at the moment. Please wait a few minutes before trying again.")
+  output_error("The server is too busy at the moment. Please wait a few minutes before trying again.", "503 Service Unavailable")
+<% end -%>
+<% @blocks["referers"].each do |referer| -%>
+elif os.environ['HTTP_REFERER'] == '<%= referer %>':
+  # Block scraper
+  output_error("The server is too busy at the moment. Please wait a few minutes before trying again.", "503 Service Unavailable")
 <% end -%>
 elif not form.has_key("bbox"):
   # No bounding box specified
 <% end -%>
 elif not form.has_key("bbox"):
   # No bounding box specified
@@ -81,7 +87,7 @@ elif not form.has_key("format"):
   output_error("No format specified")
 else:
   # Create projection object
   output_error("No format specified")
 else:
   # Create projection object
-  prj = mapnik2.Projection("+proj=merc +a=6378137 +b=6378137 +lat_ts=0.0 +lon_0=0.0 +x_0=0.0 +y_0=0 +k=1.0 +units=m +nadgrids=@null +no_defs +over");
+  prj = mapnik.Projection("+proj=merc +a=6378137 +b=6378137 +lat_ts=0.0 +lon_0=0.0 +x_0=0.0 +y_0=0 +k=1.0 +units=m +nadgrids=@null +no_defs +over");
 
   # Get the bounds of the area to render
   bbox = [float(x) for x in form.getvalue("bbox").split(",")]
 
   # Get the bounds of the area to render
   bbox = [float(x) for x in form.getvalue("bbox").split(",")]
@@ -91,7 +97,10 @@ else:
     output_error("Invalid bounding box")
   else:
     # Project the bounds to the map projection
     output_error("Invalid bounding box")
   else:
     # Project the bounds to the map projection
-    bbox = mapnik2.forward_(mapnik2.Box2d(*bbox), prj)
+    bbox = mapnik.forward_(mapnik.Box2d(*bbox), prj)
+
+    # Get the style to use
+    style = form.getvalue("style", "default")
 
     # Calculate the size of the final rendered image
     scale = float(form.getvalue("scale"))
 
     # Calculate the size of the final rendered image
     scale = float(form.getvalue("scale"))
@@ -104,47 +113,59 @@ else:
       output_error("Map too large")
     else:
       # Create map
       output_error("Map too large")
     else:
       # Create map
-      map = mapnik2.Map(width, height)
+      map = mapnik.Map(width, height)
 
       # Load map configuration
 
       # Load map configuration
-      mapnik2.load_map(map, "/home/jburgess/live/osm2.xml")
+      mapnik.load_map(map, "/srv/tile.openstreetmap.org/styles/%s/project.xml" % style)
 
       # Zoom the map to the bounding box
       map.zoom_to_box(bbox)
 
 
       # Zoom the map to the bounding box
       map.zoom_to_box(bbox)
 
+      # Fork so that we can handle crashes rendering the map
+      pid = os.fork()
+
       # Render the map
       # Render the map
-      if form.getvalue("format") == "png":
-        image = mapnik2.Image(map.width, map.height)
-        mapnik2.render(map, image)
-        png = image.tostring("png")
-        output_headers("image/png", "map.png", len(png))
-        sys.stdout.write(png)
-      elif form.getvalue("format") == "jpeg":
-        image = mapnik2.Image(map.width, map.height)
-        mapnik2.render(map, image)
-        jpeg = image.tostring("jpeg")
-        output_headers("image/jpeg", "map.jpg", len(jpeg))
-        sys.stdout.write(jpeg)
-      elif form.getvalue("format") == "svg":
-        file = tempfile.NamedTemporaryFile()
-        surface = cairo.SVGSurface(file.name, map.width, map.height)
-        mapnik2.render(map, surface)
-        surface.finish()
-        output_headers("image/svg+xml", "map.svg", file_size(file))
-        output_file(file)
-      elif form.getvalue("format") == "pdf":
-        file = tempfile.NamedTemporaryFile()
-        surface = cairo.PDFSurface(file.name, map.width, map.height)
-        mapnik2.render(map, surface)
-        surface.finish()
-        output_headers("application/pdf", "map.pdf", file_size(file))
-        output_file(file)
-      elif form.getvalue("format") == "ps":
-        file = tempfile.NamedTemporaryFile()
-        surface = cairo.PSSurface(file.name, map.width, map.height)
-        mapnik2.render(map, surface)
-        surface.finish()
-        output_headers("application/postscript", "map.ps", file_size(file))
-        output_file(file)
+      if pid == 0:
+        if form.getvalue("format") == "png":
+          image = mapnik.Image(map.width, map.height)
+          mapnik.render(map, image)
+          png = image.tostring("png")
+          output_headers("image/png", "map.png", len(png))
+          sys.stdout.write(png)
+        elif form.getvalue("format") == "jpeg":
+          image = mapnik.Image(map.width, map.height)
+          mapnik.render(map, image)
+          jpeg = image.tostring("jpeg")
+          output_headers("image/jpeg", "map.jpg", len(jpeg))
+          sys.stdout.write(jpeg)
+        elif form.getvalue("format") == "svg":
+          file = tempfile.NamedTemporaryFile(prefix = "export")
+          surface = cairo.SVGSurface(file.name, map.width, map.height)
+          mapnik.render(map, surface)
+          surface.finish()
+          output_headers("image/svg+xml", "map.svg", file_size(file))
+          output_file(file)
+        elif form.getvalue("format") == "pdf":
+          file = tempfile.NamedTemporaryFile(prefix = "export")
+          surface = cairo.PDFSurface(file.name, map.width, map.height)
+          mapnik.render(map, surface)
+          surface.finish()
+          output_headers("application/pdf", "map.pdf", file_size(file))
+          output_file(file)
+        elif form.getvalue("format") == "ps":
+          file = tempfile.NamedTemporaryFile(prefix = "export")
+          surface = cairo.PSSurface(file.name, map.width, map.height)
+          mapnik.render(map, surface)
+          surface.finish()
+          output_headers("application/postscript", "map.ps", file_size(file))
+          output_file(file)
+        else:
+          output_error("Unknown format '%s'" % form.getvalue("format"))
       else:
       else:
-        output_error("Unknown format '%s'" % form.getvalue("format"))
+        pid, status = os.waitpid(pid, 0)
+        if status & 0xff == signal.SIGXCPU:
+          output_error("CPU time limit exceeded", "509 Resource Limit Exceeded")
+        elif status & 0xff == signal.SIGSEGV:
+          output_error("Memory limit exceeded", "509 Resource Limit Exceeded")
+        elif status != 0:
+          output_error("Internal server error", "500 Internal Server Error")
Chef configuration management public repo for configuring & maintaining the OpenStreetMap servers.