]> git.openstreetmap.org Git - rails.git/blobdiff - app/controllers/amf_controller.rb
Merge branch 'master' into openid
[rails.git] / app / controllers / amf_controller.rb
index 5a8ac49c36234128f0a70553805a883e68f9fd04..7c6a140bd8683e30e5a804d68ced78454e052d3f 100644 (file)
@@ -5,8 +5,8 @@
 #
 # Helper functions are in /lib/potlatch.rb
 #
-# Author::     editions Systeme D / Richard Fairhurst 2004-2008
-# Licence::    public domain.
+# Author::  editions Systeme D / Richard Fairhurst 2004-2008
+# Licence:: public domain.
 #
 # == General structure
 #
@@ -24,8 +24,8 @@
 # == Debugging
 # 
 # Any method that returns a status code (0 for ok) can also send:
-#      return(-1,"message")            <-- just puts up a dialogue
-#      return(-2,"message")            <-- also asks the user to e-mail me
+# return(-1,"message")        <-- just puts up a dialogue
+# return(-2,"message")        <-- also asks the user to e-mail me
 # return(-3,["type",v],id)    <-- version conflict
 # return(-4,"type",id)        <-- object not found
 # -5 indicates the method wasn't called (due to a previous error)
@@ -52,45 +52,47 @@ class AmfController < ApplicationController
   def amf_read
     if request.post?
       req=StringIO.new(request.raw_post+0.chr)# Get POST data as request
-                                # (cf http://www.ruby-forum.com/topic/122163)
-      req.read(2)                                                              # Skip version indicator and client ID
-      results={}                                                               # Results of each body
+                                              # (cf http://www.ruby-forum.com/topic/122163)
+      req.read(2)                             # Skip version indicator and client ID
 
       # Parse request
 
-      headers=AMF.getint(req)                          # Read number of headers
-
-      headers.times do                                 # Read each header
-        name=AMF.getstring(req)                                #  |
-        req.getc                                       #  | skip boolean
-        value=AMF.getvalue(req)                                #  |
-        header["name"]=value                           #  |
+      headers=AMF.getint(req)           # Read number of headers
+      headers.times do                  # Read each header
+        name=AMF.getstring(req)         #  |
+        req.getc                        #  | skip boolean
+        value=AMF.getvalue(req)         #  |
+        header["name"]=value            #  |
       end
 
-      bodies=AMF.getint(req)                           # Read number of bodies
-      bodies.times do                                  # Read each body
-        message=AMF.getstring(req)                     #  | get message name
-        index=AMF.getstring(req)                       #  | get index in response sequence
-        bytes=AMF.getlong(req)                         #  | get total size in bytes
-        args=AMF.getvalue(req)                         #  | get response (probably an array)
-        logger.info("Executing AMF #{message}(#{args.join(',')}):#{index}")
-
-        case message
-          when 'getpresets';        results[index]=AMF.putdata(index,getpresets(*args))
-          when 'whichways';         results[index]=AMF.putdata(index,whichways(*args))
-          when 'whichways_deleted'; results[index]=AMF.putdata(index,whichways_deleted(*args))
-          when 'getway';            results[index]=AMF.putdata(index,getway(args[0].to_i))
-          when 'getrelation';       results[index]=AMF.putdata(index,getrelation(args[0].to_i))
-          when 'getway_old';        results[index]=AMF.putdata(index,getway_old(args[0].to_i,args[1]))
-          when 'getway_history';    results[index]=AMF.putdata(index,getway_history(args[0].to_i))
-          when 'getnode_history';   results[index]=AMF.putdata(index,getnode_history(args[0].to_i))
-          when 'findgpx';           results[index]=AMF.putdata(index,findgpx(*args))
-          when 'findrelations';     results[index]=AMF.putdata(index,findrelations(*args))
-          when 'getpoi';            results[index]=AMF.putdata(index,getpoi(*args))
+      bodies=AMF.getint(req)            # Read number of bodies
+      render :content_type => "application/x-amf", :text => proc { |response, output| 
+        a,b=bodies.divmod(256)
+        output.write 0.chr+0.chr+0.chr+0.chr+a.chr+b.chr
+        bodies.times do                 # Read each body
+          message=AMF.getstring(req)    #  | get message name
+          index=AMF.getstring(req)      #  | get index in response sequence
+          bytes=AMF.getlong(req)        #  | get total size in bytes
+          args=AMF.getvalue(req)        #  | get response (probably an array)
+          result=''
+          logger.info("Executing AMF #{message}(#{args.join(',')}):#{index}")
+
+          case message
+            when 'getpresets';        result=AMF.putdata(index,getpresets(*args))
+            when 'whichways';         result=AMF.putdata(index,whichways(*args))
+            when 'whichways_deleted'; result=AMF.putdata(index,whichways_deleted(*args))
+            when 'getway';            result=AMF.putdata(index,getway(args[0].to_i))
+            when 'getrelation';       result=AMF.putdata(index,getrelation(args[0].to_i))
+            when 'getway_old';        result=AMF.putdata(index,getway_old(args[0].to_i,args[1]))
+            when 'getway_history';    result=AMF.putdata(index,getway_history(args[0].to_i))
+            when 'getnode_history';   result=AMF.putdata(index,getnode_history(args[0].to_i))
+            when 'findgpx';           result=AMF.putdata(index,findgpx(*args))
+            when 'findrelations';     result=AMF.putdata(index,findrelations(*args))
+            when 'getpoi';            result=AMF.putdata(index,getpoi(*args))
+          end
+          output.write(result)
         end
-      end
-      logger.info("Encoding AMF results")
-      sendresponse(results)
+      }
     else
       render :nothing => true, :status => :method_not_allowed
     end
@@ -100,48 +102,51 @@ class AmfController < ApplicationController
     if request.post?
       req=StringIO.new(request.raw_post+0.chr)
       req.read(2)
-      results={}
-      renumberednodes={}                               # Shared across repeated putways
-      renumberedways={}                                        # Shared across repeated putways
-
-      headers=AMF.getint(req)          # Read number of headers
-      headers.times do                                 # Read each header
-        name=AMF.getstring(req)            #  |
-        req.getc                                             #  | skip boolean
-        value=AMF.getvalue(req)        #  |
-        header["name"]=value           #  |
+      renumberednodes={}              # Shared across repeated putways
+      renumberedways={}               # Shared across repeated putways
+
+      headers=AMF.getint(req)         # Read number of headers
+      headers.times do                # Read each header
+        name=AMF.getstring(req)       #  |
+        req.getc                      #  | skip boolean
+        value=AMF.getvalue(req)       #  |
+        header["name"]=value          #  |
       end
 
-      bodies=AMF.getint(req)           # Read number of bodies
-      bodies.times do                                        # Read each body
-        message=AMF.getstring(req)     #  | get message name
-        index=AMF.getstring(req)               #  | get index in response sequence
-        bytes=AMF.getlong(req)                 #  | get total size in bytes
-        args=AMF.getvalue(req)                 #  | get response (probably an array)
-        err=false                   # Abort batch on error
-
-        logger.info("Executing AMF #{message}:#{index}")
-        if err
-          results[index]=[-5,nil]
-        else
-          case message
-            when 'putway';         orn=renumberednodes.dup
-                                   r=putway(renumberednodes,*args)
-                                   r[4]=renumberednodes.reject { |k,v| orn.has_key?(k) }
-                                   if r[2] != r[3] then renumberedways[r[2]] = r[3] end
-                                   results[index]=AMF.putdata(index,r)
-            when 'putrelation';    results[index]=AMF.putdata(index,putrelation(renumberednodes, renumberedways, *args))
-            when 'deleteway';      results[index]=AMF.putdata(index,deleteway(*args))
-            when 'putpoi';         r=putpoi(*args)
-                                   if r[2] != r[3] then renumberednodes[r[2]] = r[3] end
-                                   results[index]=AMF.putdata(index,r)
-            when 'startchangeset'; results[index]=AMF.putdata(index,startchangeset(*args))
-           end
-          if results[index][0]==-3 then err=true end  # If a conflict is detected, don't execute any more writes
+      bodies=AMF.getint(req)          # Read number of bodies
+      render :content_type => "application/x-amf", :text => proc { |response, output| 
+        a,b=bodies.divmod(256)
+        output.write 0.chr+0.chr+0.chr+0.chr+a.chr+b.chr
+        bodies.times do               # Read each body
+          message=AMF.getstring(req)  #  | get message name
+          index=AMF.getstring(req)    #  | get index in response sequence
+          bytes=AMF.getlong(req)      #  | get total size in bytes
+          args=AMF.getvalue(req)      #  | get response (probably an array)
+          err=false                   # Abort batch on error
+
+          logger.info("Executing AMF #{message}:#{index}")
+          result=''
+          if err
+            result=[-5,nil]
+          else
+            case message
+              when 'putway';         orn=renumberednodes.dup
+                                     r=putway(renumberednodes,*args)
+                                     r[4]=renumberednodes.reject { |k,v| orn.has_key?(k) }
+                                     if r[0]==0 and r[2] != r[3] then renumberedways[r[2]] = r[3] end
+                                     result=AMF.putdata(index,r)
+              when 'putrelation';    result=AMF.putdata(index,putrelation(renumberednodes, renumberedways, *args))
+              when 'deleteway';      result=AMF.putdata(index,deleteway(*args))
+              when 'putpoi';         r=putpoi(*args)
+                                     if r[0]==0 and r[2] != r[3] then renumberednodes[r[2]] = r[3] end
+                                     result=AMF.putdata(index,r)
+              when 'startchangeset'; result=AMF.putdata(index,startchangeset(*args))
+            end
+            if result[0]==-3 then err=true end    # If a conflict is detected, don't execute any more writes
+          end
+          output.write(result)
         end
-      end
-      logger.info("Encoding AMF results")
-      sendresponse(results)
+      }
     else
       render :nothing => true, :status => :method_not_allowed
     end
@@ -149,10 +154,12 @@ class AmfController < ApplicationController
 
   private
 
-  def amf_handle_error(call)
+  def amf_handle_error(call,rootobj,rootid)
     yield
+  rescue OSM::APIAlreadyDeletedError => ex
+    return [-4, ex.object, ex.object_id]
   rescue OSM::APIVersionMismatchError => ex
-    return [-3, [ex.type.downcase, ex.latest, ex.id]]
+    return [-3, [rootobj, rootid], [ex.type.downcase, ex.id, ex.latest]]
   rescue OSM::APIUserChangesetMismatchError => ex
     return [-2, ex.to_s]
   rescue OSM::APIBadBoundingBox => ex
@@ -163,8 +170,8 @@ class AmfController < ApplicationController
     return [-2, "An unusual error happened (in #{call}). The server said: #{ex.to_s}"]
   end
 
-  def amf_handle_error_with_timeout(call)
-    amf_handle_error(call) do
+  def amf_handle_error_with_timeout(call,rootobj,rootid)
+    amf_handle_error(call,rootobj,rootid) do
       Timeout::timeout(APP_CONFIG['api_timeout'], OSM::APITimeoutError) do
         yield
       end
@@ -175,13 +182,14 @@ class AmfController < ApplicationController
   # Returns success_code,success_message,changeset id
   
   def startchangeset(usertoken, cstags, closeid, closecomment, opennew)
-    amf_handle_error("'startchangeset'") do
+    amf_handle_error("'startchangeset'",nil,nil) do
       user = getuser(usertoken)
       if !user then return -1,"You are not logged in, so Potlatch can't write any changes to the database." end
+      unless user.active_blocks.empty? then return -1,t('application.setup_user_auth.blocked') end
 
       # close previous changeset and add comment
       if closeid
-        cs = Changeset.find(closeid)
+        cs = Changeset.find(closeid.to_i)
         cs.set_closed_time_now
         if cs.user_id!=user.id
           raise OSM::APIUserChangesetMismatchError.new
@@ -192,7 +200,7 @@ class AmfController < ApplicationController
           cs.save_with_tags!
         end
       end
-       
+  
       # open a new changeset
       if opennew!=0
         cs = Changeset.new
@@ -214,29 +222,54 @@ class AmfController < ApplicationController
   # uses POTLATCH_PRESETS global, set up in OSM::Potlatch.
 
   def getpresets(usertoken,lang) #:doc:
-    begin
-      # first, try the user setting
-      localised = YAML::load(File.open("#{RAILS_ROOT}/config/potlatch/localised/#{I18n.locale}/localised.yaml"))
-    rescue
-      begin
-        # if not, try the browser language
-        localised = YAML::load(File.open("#{RAILS_ROOT}/config/potlatch/localised/#{lang}/localised.yaml"))
-      rescue
-        # fall back to hardcoded English text
-        localised = ""
-      end
+    user = getuser(usertoken)
+
+    if user && !user.languages.empty?
+      request.user_preferred_languages = user.languages
     end
 
-    begin
-      help = File.read("#{RAILS_ROOT}/config/potlatch/localised/#{I18n.locale}/help.html")
-    rescue
+    lang = request.compatible_language_from(getlocales)
+    (real_lang, localised) = getlocalized(lang)
+
+    # Tell Potlatch what language it's using
+    localised["__potlatch_locale"] = real_lang
+
+    # Get help from i18n but delete it so we won't pass it around
+    # twice for nothing
+    help = localised["help_html"]
+    localised.delete("help_html")
+
+    # Populate icon names
+    POTLATCH_PRESETS[10].each { |id|
+      POTLATCH_PRESETS[11][id] = localised["preset_icon_#{id}"]
+      localised.delete("preset_icon_#{id}")
+    }
+
+    return POTLATCH_PRESETS+[localised,help]
+  end
+
+  def getlocalized(lang)
+    # What we end up actually using. Reported in Potlatch's created_by=* string
+    loaded_lang = 'en'
+
+    # Load English defaults
+    en = YAML::load(File.open("#{RAILS_ROOT}/config/potlatch/locales/en.yml"))["en"]
+
+    if lang == 'en'
+      return [loaded_lang, en]
+    else
+      # Use English as a fallback
       begin
-        help = File.read("#{RAILS_ROOT}/config/potlatch/localised/#{lang}/help.html")
+        other = YAML::load(File.open("#{RAILS_ROOT}/config/potlatch/locales/#{lang}.yml"))[lang]
+        loaded_lang = lang
       rescue
-        help = File.read("#{RAILS_ROOT}/config/potlatch/localised/en/help.html")
+        other = en
       end
+
+      # We have to return a flat list and some of the keys won't be
+      # translated (probably)
+      return [loaded_lang, en.merge(other)]
     end
-    return POTLATCH_PRESETS+[localised,help]
   end
 
   ##
@@ -254,7 +287,7 @@ class AmfController < ApplicationController
   # used in any way, rel is any relation which refers to either a way
   # or node that we're returning.
   def whichways(xmin, ymin, xmax, ymax) #:doc:
-    amf_handle_error_with_timeout("'whichways'") do
+    amf_handle_error_with_timeout("'whichways'",nil,nil) do
       enlarge = [(xmax-xmin)/8,0.01].min
       xmin -= enlarge; ymin -= enlarge
       xmax += enlarge; ymax += enlarge
@@ -294,7 +327,7 @@ class AmfController < ApplicationController
   # with a deleted node only - not POIs or relations).
 
   def whichways_deleted(xmin, ymin, xmax, ymax) #:doc:
-    amf_handle_error_with_timeout("'whichways_deleted'") do
+    amf_handle_error_with_timeout("'whichways_deleted'",nil,nil) do
       enlarge = [(xmax-xmin)/8,0.01].min
       xmin -= enlarge; ymin -= enlarge
       xmax += enlarge; ymax += enlarge
@@ -314,7 +347,7 @@ class AmfController < ApplicationController
   # Returns the way id, a Potlatch-style array of points, a hash of tags, the version number, and the user ID.
 
   def getway(wayid) #:doc:
-    amf_handle_error_with_timeout("'getway' #{wayid}") do
+    amf_handle_error_with_timeout("'getway' #{wayid}" ,'way',wayid) do
       if POTLATCH_USE_SQL then
         points = sql_get_nodes_in_way(wayid)
         tags = sql_get_tags_in_way(wayid)
@@ -327,7 +360,7 @@ class AmfController < ApplicationController
         way = Way.find(:first, :conditions => { :id => wayid }, :include => { :nodes => :node_tags })
 
         # check case where way has been deleted or doesn't exist
-        return [-4, 'way', wayid, [], {}, nil] if way.nil? or !way.visible
+        return [-4, 'way', wayid] if way.nil? or !way.visible
 
         points = way.nodes.collect do |node|
           nodetags=node.tags
@@ -359,7 +392,7 @@ class AmfController < ApplicationController
   # 5. is this the current, visible version? (boolean)
   
   def getway_old(id, timestamp) #:doc:
-    amf_handle_error_with_timeout("'getway_old' #{id}, #{timestamp}") do
+    amf_handle_error_with_timeout("'getway_old' #{id}, #{timestamp}", 'way',id) do
       if timestamp == ''
         # undelete
         old_way = OldWay.find(:first, :conditions => ['visible = ? AND id = ?', true, id], :order => 'version DESC')
@@ -372,7 +405,7 @@ class AmfController < ApplicationController
           unless old_way.nil?
             points = old_way.get_nodes_revert(timestamp)
             if !old_way.visible
-              return [-1, "Sorry, the way was deleted at that time - please revert to a previous version.", id, [], {}, nil, false]
+              return [-1, "Sorry, the way was deleted at that time - please revert to a previous version.", id]
             end
           end
         rescue ArgumentError
@@ -382,7 +415,7 @@ class AmfController < ApplicationController
       end
 
       if old_way.nil?
-        return [-1, "Sorry, the server could not find a way at that time.", id, [], {}, nil, false]
+        return [-1, "Sorry, the server could not find a way at that time.", id]
       else
         curway=Way.find(id)
         old_way.tags['history'] = "Retrieved from v#{old_way.version}"
@@ -459,9 +492,10 @@ class AmfController < ApplicationController
   # Returns array listing GPXs, each one comprising id, name and description.
   
   def findgpx(searchterm, usertoken)
-    amf_handle_error_with_timeout("'findgpx'") do
+    amf_handle_error_with_timeout("'findgpx'" ,nil,nil) do
       user = getuser(usertoken)
-      if !uid then return -1,"You must be logged in to search for GPX traces.",[] end
+      if !user then return -1,"You must be logged in to search for GPX traces." end
+      unless user.active_blocks.empty? then return -1,t('application.setup_user_auth.blocked') end
 
       gpxs = []
       if searchterm.to_i>0 then
@@ -488,10 +522,10 @@ class AmfController < ApplicationController
   # 5. version.
   
   def getrelation(relid) #:doc:
-    amf_handle_error("'getrelation' #{relid}") do
+    amf_handle_error("'getrelation' #{relid}" ,'relation',relid) do
       rel = Relation.find(:first, :conditions => { :id => relid })
 
-      return [-4, 'relation', relid, {}, [], nil] if rel.nil? or !rel.visible
+      return [-4, 'relation', relid] if rel.nil? or !rel.visible
       [0, '', relid, rel.tags, rel.members, rel.version]
     end
   end
@@ -524,9 +558,12 @@ class AmfController < ApplicationController
   # 3. version.
 
   def putrelation(renumberednodes, renumberedways, usertoken, changeset_id, version, relid, tags, members, visible) #:doc:
-    amf_handle_error("'putrelation' #{relid}")  do
+    amf_handle_error("'putrelation' #{relid}" ,'relation',relid)  do
       user = getuser(usertoken)
       if !user then return -1,"You are not logged in, so the relation could not be saved." end
+      unless user.active_blocks.empty? then return -1,t('application.setup_user_auth.blocked') end
+      if !tags_ok(tags) then return -1,"One of the tags is invalid. Linux users may need to upgrade to Flash Player 10.1." end
+      tags = strip_non_xml_chars tags
 
       relid = relid.to_i
       visible = (visible.to_i != 0)
@@ -607,17 +644,20 @@ class AmfController < ApplicationController
   # 6. hash of node versions (node=>version)
 
   def putway(renumberednodes, usertoken, changeset_id, wayversion, originalway, pointlist, attributes, nodes, deletednodes) #:doc:
-    amf_handle_error("'putway' #{originalway}") do
+    amf_handle_error("'putway' #{originalway}" ,'way',originalway) do
       # -- Initialise
-       
+  
       user = getuser(usertoken)
       if !user then return -1,"You are not logged in, so the way could not be saved." end
+      unless user.active_blocks.empty? then return -1,t('application.setup_user_auth.blocked') end
       if pointlist.length < 2 then return -2,"Server error - way is only #{points.length} points long." end
+      if !tags_ok(attributes) then return -1,"One of the tags is invalid. Linux users may need to upgrade to Flash Player 10.1." end
+      attributes = strip_non_xml_chars attributes
 
       originalway = originalway.to_i
       pointlist.collect! {|a| a.to_i }
 
-      way=nil  # this is returned, so scope it outside the transaction
+      way=nil # this is returned, so scope it outside the transaction
       nodeversions = {}
       Way.transaction do
 
@@ -628,6 +668,7 @@ class AmfController < ApplicationController
           lat = a[1].to_f
           id = a[2].to_i
           version = a[3].to_i
+
           if id == 0  then return -2,"Server error - node with id 0 found in way #{originalway}." end
           if lat== 90 then return -2,"Server error - node with latitude -90 found in way #{originalway}." end
           if renumberednodes[id] then id = renumberednodes[id] end
@@ -637,6 +678,11 @@ class AmfController < ApplicationController
           node.lat = lat
           node.lon = lon
           node.tags = a[4]
+
+          # fixup node tags in a way as well
+          if !tags_ok(node.tags) then return -1,"One of the tags is invalid. Linux users may need to upgrade to Flash Player 10.1." end
+          node.tags = strip_non_xml_chars node.tags
+
           node.tags.delete('created_by')
           node.version = version
           if id <= 0
@@ -665,7 +711,7 @@ class AmfController < ApplicationController
         new_way.version = wayversion
         if originalway <= 0
           new_way.create_with_history(user)
-          way=new_way  # so we can get way.id and way.version
+          way=new_way # so we can get way.id and way.version
         else
           way = Way.find(originalway)
           if way.tags!=attributes or way.nds!=pointlist or !way.visible?
@@ -706,9 +752,12 @@ class AmfController < ApplicationController
   # 4. version.
 
   def putpoi(usertoken, changeset_id, version, id, lon, lat, tags, visible) #:doc:
-    amf_handle_error("'putpoi' #{id}") do
+    amf_handle_error("'putpoi' #{id}", 'node',id) do
       user = getuser(usertoken)
       if !user then return -1,"You are not logged in, so the point could not be saved." end
+      unless user.active_blocks.empty? then return -1,t('application.setup_user_auth.blocked') end
+      if !tags_ok(tags) then return -1,"One of the tags is invalid. Linux users may need to upgrade to Flash Player 10.1." end
+      tags = strip_non_xml_chars tags
 
       id = id.to_i
       visible = (visible.to_i == 1)
@@ -719,7 +768,7 @@ class AmfController < ApplicationController
           node = Node.find(id)
 
           if !visible then
-            unless node.ways.empty? then return -1,"The point has since become part of a way, so you cannot save it as a POI.",id,id,version end
+            unless node.ways.empty? then return -1,"Point #{id} has since become part of a way, so you cannot save it as a POI.",id,id,version end
           end
         end
         # We always need a new node, based on the data that has been sent to us
@@ -759,7 +808,7 @@ class AmfController < ApplicationController
   # Returns array of id, long, lat, hash of tags, (current) version.
 
   def getpoi(id,timestamp) #:doc:
-    amf_handle_error("'getpoi' #{id}") do
+    amf_handle_error("'getpoi' #{id}" ,'node',id) do
       id = id.to_i
       n = Node.find(id)
       v = n.version
@@ -770,7 +819,7 @@ class AmfController < ApplicationController
       if n
         return [0, '', n.id, n.lon, n.lat, n.tags, v]
       else
-        return [-4, 'node', id, nil, nil, {}, nil]
+        return [-4, 'node', id]
       end
     end
   end
@@ -786,9 +835,10 @@ class AmfController < ApplicationController
   # Returns 0 (success), unchanged way id, new way version, new node versions.
 
   def deleteway(usertoken, changeset_id, way_id, way_version, deletednodes) #:doc:
-    amf_handle_error("'deleteway' #{way_id}") do
+    amf_handle_error("'deleteway' #{way_id}" ,'way', way_id) do
       user = getuser(usertoken)
       unless user then return -1,"You are not logged in, so the way could not be deleted." end
+      unless user.active_blocks.empty? then return -1,t('application.setup_user_auth.blocked') end
       
       way_id = way_id.to_i
       nodeversions = {}
@@ -845,21 +895,34 @@ class AmfController < ApplicationController
     return user
   end
 
-  # Send AMF response
+  def getlocales
+    Dir.glob("#{RAILS_ROOT}/config/potlatch/locales/*").collect { |f| File.basename(f, ".yml") }
+  end
   
-  def sendresponse(results)
-    a,b=results.length.divmod(256)
-    render :content_type => "application/x-amf", :text => proc { |response, output| 
-      # ** move amf writing loop into here - 
-      # basically we read the messages in first (into an array of some sort),
-      # then iterate through that array within here, and do all the AMF writing
-      output.write 0.chr+0.chr+0.chr+0.chr+a.chr+b.chr
-      results.each do |k,v|
-        output.write(v)
-      end
-    }
+  ##
+  # check that all key-value pairs are valid UTF-8.
+  def tags_ok(tags)
+    tags.each do |k, v|
+      return false unless UTF8.valid? k
+      return false unless UTF8.valid? v
+    end
+    return true
   end
 
+  ##
+  # strip characters which are invalid in XML documents from the strings
+  # in the +tags+ hash.
+  def strip_non_xml_chars(tags)
+    new_tags = Hash.new
+    unless tags.nil?
+      tags.each do |k, v|
+        new_k = k.delete "\000-\037", "^\011\012\015"
+        new_v = v.delete "\000-\037", "^\011\012\015"
+        new_tags[new_k] = new_v
+      end
+    end
+    return new_tags
+  end
 
   # ====================================================================
   # Alternative SQL queries for getway/whichways
@@ -876,16 +939,16 @@ class AmfController < ApplicationController
     EOF
     return ActiveRecord::Base.connection.select_all(sql).collect { |a| [a['wayid'].to_i,a['version'].to_i] }
   end
-       
+  
   def sql_find_pois_in_area(xmin,ymin,xmax,ymax)
     pois=[]
     sql=<<-EOF
-                 SELECT current_nodes.id,current_nodes.latitude*0.0000001 AS lat,current_nodes.longitude*0.0000001 AS lon,current_nodes.version 
-                       FROM current_nodes 
+      SELECT current_nodes.id,current_nodes.latitude*0.0000001 AS lat,current_nodes.longitude*0.0000001 AS lon,current_nodes.version 
+      FROM current_nodes 
        LEFT OUTER JOIN current_way_nodes cwn ON cwn.node_id=current_nodes.id 
-                  WHERE current_nodes.visible=TRUE
-                        AND cwn.id IS NULL
-                        AND #{OSM.sql_for_area(ymin, xmin, ymax, xmax, "current_nodes.")}
+       WHERE current_nodes.visible=TRUE
+       AND cwn.id IS NULL
+       AND #{OSM.sql_for_area(ymin, xmin, ymax, xmax, "current_nodes.")}
     EOF
     ActiveRecord::Base.connection.select_all(sql).each do |row|
       poitags={}
@@ -896,7 +959,7 @@ class AmfController < ApplicationController
     end
     pois
   end
-       
+  
   def sql_find_relations_in_area_and_ways(xmin,ymin,xmax,ymax,way_ids)
     # ** It would be more Potlatchy to get relations for nodes within ways
     #    during 'getway', not here
@@ -919,17 +982,17 @@ class AmfController < ApplicationController
     end
     ActiveRecord::Base.connection.select_all(sql).collect { |a| [a['relid'].to_i,a['version'].to_i] }
   end
-       
+  
   def sql_get_nodes_in_way(wayid)
     points=[]
     sql=<<-EOF
       SELECT latitude*0.0000001 AS lat,longitude*0.0000001 AS lon,current_nodes.id,current_nodes.version 
       FROM current_way_nodes,current_nodes 
        WHERE current_way_nodes.id=#{wayid.to_i} 
-                  AND current_way_nodes.node_id=current_nodes.id 
-                  AND current_nodes.visible=TRUE
+       AND current_way_nodes.node_id=current_nodes.id 
+       AND current_nodes.visible=TRUE
       ORDER BY sequence_id
-         EOF
+    EOF
     ActiveRecord::Base.connection.select_all(sql).each do |row|
       nodetags={}
       ActiveRecord::Base.connection.select_all("SELECT k,v FROM current_node_tags WHERE id=#{row['id']}").each do |n|
@@ -940,7 +1003,7 @@ class AmfController < ApplicationController
     end
     points
   end
-       
+  
   def sql_get_tags_in_way(wayid)
     tags={}
     ActiveRecord::Base.connection.select_all("SELECT k,v FROM current_way_tags WHERE id=#{wayid.to_i}").each do |row|