]> git.openstreetmap.org Git - rails.git/blob - app/controllers/amf_controller.rb
amf get*_history tests and related fixes
[rails.git] / app / controllers / amf_controller.rb
1 # amf_controller is a semi-standalone API for Flash clients, particularly 
2 # Potlatch. All interaction between Potlatch (as a .SWF application) and the 
3 # OSM database takes place using this controller. Messages are 
4 # encoded in the Actionscript Message Format (AMF).
5 #
6 # Helper functions are in /lib/potlatch.
7 #
8 # Author::      editions Systeme D / Richard Fairhurst 2004-2008
9 # Licence::     public domain.
10 #
11 # == General structure
12 #
13 # Apart from the amf_read and amf_write methods (which distribute the requests
14 # from the AMF message), each method generally takes arguments in the order 
15 # they were sent by the Potlatch SWF. Do not assume typing has been preserved. 
16 # Methods all return an array to the SWF.
17
18 # == Debugging
19
20 # Any method that returns a status code (0 for ok) can also send:
21 #       return(-1,"message")            <-- just puts up a dialogue
22 #       return(-2,"message")            <-- also asks the user to e-mail me
23
24 # To write to the Rails log, use RAILS_DEFAULT_LOGGER.info("message").
25
26 class AmfController < ApplicationController
27   require 'stringio'
28
29   include Potlatch
30
31   # Help methods for checking boundary sanity and area size
32   include MapBoundary
33
34   session :off
35   before_filter :check_write_availability
36
37   # Main AMF handlers: process the raw AMF string (using AMF library) and
38   # calls each action (private method) accordingly.
39   # ** FIXME: refactor to reduce duplication of code across read/write
40   
41   def amf_read
42         req=StringIO.new(request.raw_post+0.chr)# Get POST data as request
43                                                                                         # (cf http://www.ruby-forum.com/topic/122163)
44         req.read(2)                                                             # Skip version indicator and client ID
45         results={}                                                              # Results of each body
46
47         # Parse request
48
49         headers=AMF.getint(req)                                 # Read number of headers
50
51         headers.times do                                                # Read each header
52           name=AMF.getstring(req)                               #  |
53           req.getc                                                              #  | skip boolean
54           value=AMF.getvalue(req)                               #  |
55           header["name"]=value                                  #  |
56         end
57
58         bodies=AMF.getint(req)                                  # Read number of bodies
59         bodies.times do                                                 # Read each body
60           message=AMF.getstring(req)                    #  | get message name
61           index=AMF.getstring(req)                              #  | get index in response sequence
62           bytes=AMF.getlong(req)                                #  | get total size in bytes
63           args=AMF.getvalue(req)                                #  | get response (probably an array)
64       logger.info "Executing AMF #{message}:#{index}"
65
66           case message
67                 when 'getpresets';                      results[index]=AMF.putdata(index,getpresets())
68                 when 'whichways';                       results[index]=AMF.putdata(index,whichways(*args))
69                 when 'whichways_deleted';       results[index]=AMF.putdata(index,whichways_deleted(*args))
70                 when 'getway';                          results[index]=AMF.putdata(index,getway(args[0].to_i))
71                 when 'getrelation';                     results[index]=AMF.putdata(index,getrelation(args[0].to_i))
72                 when 'getway_old';                      results[index]=AMF.putdata(index,getway_old(args[0].to_i,args[1].to_i))
73                 when 'getway_history';          results[index]=AMF.putdata(index,getway_history(args[0].to_i))
74                 when 'getnode_history';         results[index]=AMF.putdata(index,getnode_history(args[0].to_i))
75                 when 'findrelations';           results[index]=AMF.putdata(index,findrelations(*args))
76                 when 'getpoi';                          results[index]=AMF.putdata(index,getpoi(*args))
77           end
78         end
79     logger.info("encoding AMF results")
80     sendresponse(results)
81   end
82
83   def amf_write
84         req=StringIO.new(request.raw_post+0.chr)
85         req.read(2)
86         results={}
87         renumberednodes={}                                              # Shared across repeated putways
88         renumberedways={}                                               # Shared across repeated putways
89
90         headers=AMF.getint(req)                                 # Read number of headers
91         headers.times do                                                # Read each header
92           name=AMF.getstring(req)                               #  |
93           req.getc                                                              #  | skip boolean
94           value=AMF.getvalue(req)                               #  |
95           header["name"]=value                                  #  |
96         end
97
98         bodies=AMF.getint(req)                                  # Read number of bodies
99         bodies.times do                                                 # Read each body
100           message=AMF.getstring(req)                    #  | get message name
101           index=AMF.getstring(req)                              #  | get index in response sequence
102           bytes=AMF.getlong(req)                                #  | get total size in bytes
103           args=AMF.getvalue(req)                                #  | get response (probably an array)
104
105           case message
106                 when 'putway';                          r=putway(renumberednodes,*args)
107                                                                         renumberednodes=r[3]
108                                                                         if r[1] != r[2]
109                                                                           renumberedways[r[1]] = r[2]
110                                                                         end
111                                                                         results[index]=AMF.putdata(index,r)
112                 when 'putrelation';                     results[index]=AMF.putdata(index,putrelation(renumberednodes, renumberedways, *args))
113                 when 'deleteway';                       results[index]=AMF.putdata(index,deleteway(args[0],args[1].to_i))
114                 when 'putpoi';                          results[index]=AMF.putdata(index,putpoi(*args))
115           end
116         end
117     sendresponse(results)
118   end
119
120   private
121
122   # Return presets (default tags, localisation etc.):
123   # uses POTLATCH_PRESETS global, set up in OSM::Potlatch.
124
125   def getpresets() #:doc:
126         return POTLATCH_PRESETS
127   end
128
129   # Find all the ways, POI nodes (i.e. not part of ways), and relations
130   # in a given bounding box. Nodes are returned in full; ways and relations 
131   # are IDs only. 
132
133   def whichways(xmin, ymin, xmax, ymax) #:doc:
134         xmin -= 0.01; ymin -= 0.01
135         xmax += 0.01; ymax += 0.01
136     
137     # check boundary is sane and area within defined
138     # see /config/application.yml
139     begin
140       check_boundaries(xmin, ymin, xmax, ymax)
141     rescue Exception => err
142       # FIXME: report an error rather than just return an empty result
143       return [[],[],[]]
144     end
145
146         if POTLATCH_USE_SQL then
147           way_ids = sql_find_way_ids_in_area(xmin, ymin, xmax, ymax)
148           points = sql_find_pois_in_area(xmin, ymin, xmax, ymax)
149           relation_ids = sql_find_relations_in_area_and_ways(xmin, ymin, xmax, ymax, way_ids)
150         else
151           # find the way ids in an area
152           nodes_in_area = Node.find_by_area(ymin, xmin, ymax, xmax, :conditions => ["current_nodes.visible = ?", true], :include => :ways)
153           way_ids = nodes_in_area.collect { |node| node.way_ids }.flatten.uniq
154
155           # find the node ids in an area that aren't part of ways
156           nodes_not_used_in_area = nodes_in_area.select { |node| node.ways.empty? }
157           points = nodes_not_used_in_area.collect { |n| [n.id, n.lon, n.lat, n.tags_as_hash] }
158
159           # find the relations used by those nodes and ways
160           relations = Relation.find_for_nodes(nodes_in_area.collect { |n| n.id }, :conditions => {:visible => true}) +
161                   Relation.find_for_ways(way_ids, :conditions => {:visible => true})
162           relation_ids = relations.collect { |relation| relation.id }.uniq
163         end
164
165         [way_ids, points, relation_ids]
166   end
167
168   # Find deleted ways in current bounding box (similar to whichways, but ways
169   # with a deleted node only - not POIs or relations).
170
171   def whichways_deleted(xmin, ymin, xmax, ymax) #:doc:
172         xmin -= 0.01; ymin -= 0.01
173         xmax += 0.01; ymax += 0.01
174
175     # check boundary is sane and area within defined
176     # see /config/application.yml
177     begin
178       check_boundaries(xmin, ymin, xmax, ymax)
179     rescue Exception => err
180       # FIXME: report an error rather than just return an empty result
181       return [[]]
182     end
183
184         nodes_in_area = Node.find_by_area(ymin, xmin, ymax, xmax, :conditions => ["current_ways.visible = ?", false], :include => :ways_via_history)
185         way_ids = nodes_in_area.collect { |node| node.ways_via_history_ids }.flatten.uniq
186
187         [way_ids]
188   end
189
190   # Get a way including nodes and tags.
191   # Returns 0 (success), a Potlatch-style array of points, and a hash of tags.
192
193   def getway(wayid) #:doc:
194         if POTLATCH_USE_SQL then
195           points = sql_get_nodes_in_way(wayid)
196           tags = sql_get_tags_in_way(wayid)
197         else
198           # Ideally we would do ":include => :nodes" here but if we do that
199           # then rails only seems to return the first copy of a node when a
200           # way includes a node more than once
201       begin
202             way = Way.find(wayid)
203       rescue ActiveRecord::RecordNotFound
204         return [wayid,[],{}]
205       end
206
207       # check case where way has been deleted or doesn't exist
208       return [wayid,[],{}] if way.nil? or !way.visible
209
210           points = way.nodes.collect do |node|
211                 nodetags=node.tags_as_hash
212                 nodetags.delete('created_by')
213                 [node.lon, node.lat, node.id, nodetags]
214           end
215           tags = way.tags
216         end
217
218         [wayid, points, tags]
219   end
220
221   # Get an old version of a way, and all constituent nodes.
222   #
223   # For undelete (version<0), always uses the most recent version of each node, 
224   # even if it's moved.  For revert (version >= 0), uses the node in existence 
225   # at the time, generating a new id if it's still visible and has been moved/
226   # retagged.
227
228   def getway_old(id, version) #:doc:
229         if version < 0
230           old_way = OldWay.find(:first, :conditions => ['visible = ? AND id = ?', true, id], :order => 'version DESC')
231           points = old_way.get_nodes_undelete unless old_way.nil?
232         else
233           old_way = OldWay.find(:first, :conditions => ['id = ? AND version = ?', id, version])
234           points = old_way.get_nodes_revert unless old_way.nil?
235         end
236
237     if old_way.nil?
238       return [0, id, [], {}, -1]
239     else
240           old_way.tags['history'] = "Retrieved from v#{old_way.version}"
241           return [0, id, points, old_way.tags, old_way.version]
242     end
243   end
244   
245   # Find history of a way. Returns 'way', id, and 
246   # an array of previous versions.
247
248   def getway_history(wayid) #:doc:
249     begin
250           history = Way.find(wayid).old_ways.reverse.collect do |old_way|
251         user_object = old_way.changeset.user
252             user = user_object.data_public? ? user_object.display_name : 'anonymous'
253             uid  = user_object.data_public? ? user_object.id : 0
254             [old_way.version, old_way.timestamp.strftime("%d %b %Y, %H:%M"), old_way.visible ? 1 : 0, user, uid]
255           end
256
257           return ['way',wayid,history]
258     rescue ActiveRecord::RecordNotFound
259       return ['way', wayid, []]
260     end
261   end
262
263   # Find history of a node. Returns 'node', id, and 
264   # an array of previous versions.
265
266   def getnode_history(nodeid) #:doc:
267     begin
268           history = Node.find(nodeid).old_nodes.reverse.collect do |old_node|
269         user_object = old_node.changeset.user
270             user = user_object.data_public? ? user_object.display_name : 'anonymous'
271             uid  = user_object.data_public? ? user_object.id : 0
272             [old_node.timestamp.to_i, old_node.timestamp.strftime("%d %b %Y, %H:%M"), old_node.visible ? 1 : 0, user, uid]
273           end
274
275           return ['node',nodeid,history]
276     rescue ActiveRecord::RecordNotFound
277       return ['node', nodeid, []]
278     end
279   end
280
281   # Get a relation with all tags and members.
282   # Returns:
283   # 0. relation id,
284   # 1. hash of tags,
285   # 2. list of members.
286   
287   def getrelation(relid) #:doc:
288     begin
289           rel = Relation.find(relid)
290     rescue ActiveRecord::RecordNotFound
291       return [relid, {}, []]
292     end
293
294     return [relid, {}, []] if rel.nil? or !rel.visible
295
296         [relid, rel.tags, rel.members]
297   end
298
299   # Find relations with specified name/id.
300   # Returns array of relations, each in same form as getrelation.
301   
302   def findrelations(searchterm)
303         rels = []
304         if searchterm.to_i>0 then
305           rel = Relation.find(searchterm.to_i)
306           if rel and rel.visible then
307             rels.push([rel.id, rel.tags, rel.members])
308           end
309         else
310           RelationTag.find(:all, :limit => 11, :conditions => ["match(v) against (?)", searchterm] ).each do |t|
311                 if t.relation.visible then
312               rels.push([t.relation.id, t.relation.tags, t.relation.members])
313             end
314           end
315         end
316         rels
317   end
318
319   # Save a relation.
320   # Returns
321   # 0. 0 (success),
322   # 1. original relation id (unchanged),
323   # 2. new relation id.
324
325   def putrelation(renumberednodes, renumberedways, usertoken, relid, tags, members, visible) #:doc:
326         uid = getuserid(usertoken)
327         if !uid then return -1,"You are not logged in, so the relation could not be saved." end
328
329         relid = relid.to_i
330         visible = (visible.to_i != 0)
331
332         # create a new relation, or find the existing one
333         if relid <= 0
334           rel = Relation.new
335         else
336           rel = Relation.find(relid)
337         end
338
339         # check the members are all positive, and correctly type
340         typedmembers = []
341         members.each do |m|
342           mid = m[1].to_i
343           if mid < 0
344                 mid = renumberednodes[mid] if m[0] == 'node'
345                 mid = renumberedways[mid] if m[0] == 'way'
346           end
347       if mid
348             typedmembers << [m[0], mid, m[2]]
349           end
350         end
351
352         # assign new contents
353         rel.members = typedmembers
354         rel.tags = tags
355         rel.visible = visible
356         rel.user_id = uid
357
358         # check it then save it
359         # BUG: the following is commented out because it always fails on my
360         #  install. I think it's a Rails bug.
361
362         #if !rel.preconditions_ok?
363         #  return -2, "Relation preconditions failed"
364         #else
365           rel.save_with_history!
366         #end
367
368         [0, relid, rel.id]
369   end
370
371   # Save a way to the database, including all nodes. Any nodes in the previous
372   # version and no longer used are deleted.
373   # 
374   # Returns:
375   # 0. '0' (code for success),
376   # 1. original way id (unchanged),
377   # 2. new way id,
378   # 3. hash of renumbered nodes (old id=>new id)
379
380   def putway(renumberednodes, usertoken, originalway, points, attributes) #:doc:
381
382         # -- Initialise and carry out checks
383         
384         uid = getuserid(usertoken)
385         if !uid then return -1,"You are not logged in, so the way could not be saved." end
386
387         originalway = originalway.to_i
388
389         points.each do |a|
390           if a[2] == 0 or a[2].nil? then return -2,"Server error - node with id 0 found in way #{originalway}." end
391           if a[1] == 90 then return -2,"Server error - node with lat -90 found in way #{originalway}." end
392         end
393
394         if points.length < 2 then return -2,"Server error - way is only #{points.length} points long." end
395
396         # -- Get unique nodes
397
398         if originalway < 0
399           way = Way.new
400           uniques = []
401         else
402           way = Way.find(originalway)
403           uniques = way.unshared_node_ids
404         end
405
406         # -- Compare nodes and save changes to any that have changed
407
408         nodes = []
409
410         points.each do |n|
411           lon = n[0].to_f
412           lat = n[1].to_f
413           id = n[2].to_i
414           savenode = false
415
416           if renumberednodes[id]
417             id = renumberednodes[id]
418           elsif id < 0
419                 # Create new node
420                 node = Node.new
421                 savenode = true
422           else
423                 node = Node.find(id)
424                 nodetags=node.tags_as_hash
425                 nodetags.delete('created_by')
426                 if !fpcomp(lat, node.lat) or !fpcomp(lon, node.lon) or
427                    n[4] != nodetags or !node.visible?
428                   savenode = true
429                 end
430           end
431
432           if savenode
433                 node.user_id = uid
434             node.lat = lat
435         node.lon = lon
436             node.tags = Tags.join(n[4])
437             node.visible = true
438             node.save_with_history!
439
440                 if id != node.id
441                   renumberednodes[id] = node.id
442                   id = node.id
443             end
444           end
445
446           uniques = uniques - [id]
447           nodes.push(id)
448         end
449
450         # -- Delete any unique nodes
451         
452         uniques.each do |n|
453           deleteitemrelations(n, 'node')
454
455           node = Node.find(n)
456           node.user_id = uid
457           node.visible = false
458           node.save_with_history!
459         end
460
461         # -- Save revised way
462
463         way.tags = attributes
464         way.nds = nodes
465         way.user_id = uid
466         way.visible = true
467         way.save_with_history!
468
469         [0, originalway, way.id, renumberednodes]
470   end
471
472   # Save POI to the database.
473   # Refuses save if the node has since become part of a way.
474   # Returns:
475   # 0. 0 (success),
476   # 1. original node id (unchanged),
477   # 2. new node id.
478
479   def putpoi(usertoken, id, lon, lat, tags, visible) #:doc:
480         uid = getuserid(usertoken)
481         if !uid then return -1,"You are not logged in, so the point could not be saved." end
482
483         id = id.to_i
484         visible = (visible.to_i == 1)
485
486         if id > 0 then
487           node = Node.find(id)
488
489           if !visible then
490             unless node.ways.empty? then return -1,"The point has since become part of a way, so you cannot save it as a POI." end
491             deleteitemrelations(id, 'node')
492           end
493         else
494           node = Node.new
495         end
496
497         node.user_id = uid
498         node.lat = lat
499         node.lon = lon
500         node.tags = Tags.join(tags)
501         node.visible = visible
502         node.save_with_history!
503
504         [0, id, node.id]
505   end
506
507   # Read POI from database
508   # (only called on revert: POIs are usually read by whichways).
509   #
510   # Returns array of id, long, lat, hash of tags.
511
512   def getpoi(id,timestamp) #:doc:
513         if timestamp>0 then
514           n = OldNode.find(id, :conditions=>['UNIX_TIMESTAMP(timestamp)=?',timestamp])
515         else
516           n = Node.find(id)
517         end
518
519         if n
520           return [n.id, n.lon, n.lat, n.tags_as_hash]
521         else
522           return [nil, nil, nil, '']
523         end
524   end
525
526   # Delete way and all constituent nodes. Also removes from any relations.
527   # Returns 0 (success), unchanged way id.
528
529   def deleteway(usertoken, way_id) #:doc:
530         uid = getuserid(usertoken)
531         if !uid then return -1,"You are not logged in, so the way could not be deleted." end
532
533         # FIXME: would be good not to make two history entries when removing
534         #                two nodes from the same relation
535         user = User.find(uid)
536         way = Way.find(way_id)
537         way.unshared_node_ids.each do |n|
538           deleteitemrelations(n, 'node')
539         end
540         deleteitemrelations(way_id, 'way')
541
542         way.delete_with_relations_and_nodes_and_history(user)  
543
544         [0, way_id]
545   end
546
547
548   # ====================================================================
549   # Support functions
550
551   # Remove a node or way from all relations
552
553   def deleteitemrelations(objid, type) #:doc:
554         relations = RelationMember.find(:all, 
555                                                                         :conditions => ['member_type = ? and member_id = ?', type, objid], 
556                                                                         :include => :relation).collect { |rm| rm.relation }.uniq
557
558         relations.each do |rel|
559           rel.members.delete_if { |x| x[0] == type and x[1] == objid }
560           rel.save_with_history!
561         end
562   end
563
564   # Break out node tags into a hash
565   # (should become obsolete as of API 0.6)
566
567   def tagstring_to_hash(a) #:doc:
568         tags={}
569         Tags.split(a) do |k, v|
570           tags[k]=v
571         end
572         tags
573   end
574
575   # Authenticate token
576   # (could be removed if no-one uses the username+password form)
577
578   def getuserid(token) #:doc:
579         if (token =~ /^(.+)\+(.+)$/) then
580           user = User.authenticate(:username => $1, :password => $2)
581         else
582           user = User.authenticate(:token => token)
583         end
584
585         return user ? user.id : nil;
586   end
587
588   # Compare two floating-point numbers to within 0.0000001
589
590   def fpcomp(a,b) #:doc:
591         return ((a/0.0000001).round==(b/0.0000001).round)
592   end
593
594   # Send AMF response
595   
596   def sendresponse(results)
597         a,b=results.length.divmod(256)
598         render :content_type => "application/x-amf", :text => proc { |response, output| 
599           output.write 0.chr+0.chr+0.chr+0.chr+a.chr+b.chr
600           results.each do |k,v|
601                 output.write(v)
602           end
603         }
604   end
605
606
607   # ====================================================================
608   # Alternative SQL queries for getway/whichways
609
610   def sql_find_way_ids_in_area(xmin,ymin,xmax,ymax)
611         sql=<<-EOF
612   SELECT DISTINCT current_way_nodes.id AS wayid
613                 FROM current_way_nodes
614   INNER JOIN current_nodes ON current_nodes.id=current_way_nodes.node_id
615   INNER JOIN current_ways  ON current_ways.id =current_way_nodes.id
616            WHERE current_nodes.visible=TRUE 
617                  AND current_ways.visible=TRUE 
618                  AND #{OSM.sql_for_area(ymin, xmin, ymax, xmax, "current_nodes.")}
619         EOF
620         return ActiveRecord::Base.connection.select_all(sql).collect { |a| a['wayid'].to_i }
621   end
622         
623   def sql_find_pois_in_area(xmin,ymin,xmax,ymax)
624         sql=<<-EOF
625                   SELECT current_nodes.id,current_nodes.latitude*0.0000001 AS lat,current_nodes.longitude*0.0000001 AS lon,current_nodes.tags 
626                         FROM current_nodes 
627  LEFT OUTER JOIN current_way_nodes cwn ON cwn.node_id=current_nodes.id 
628                    WHERE current_nodes.visible=TRUE
629                          AND cwn.id IS NULL
630                          AND #{OSM.sql_for_area(ymin, xmin, ymax, xmax, "current_nodes.")}
631         EOF
632         return ActiveRecord::Base.connection.select_all(sql).collect { |n| [n['id'].to_i,n['lon'].to_f,n['lat'].to_f,tagstring_to_hash(n['tags'])] }
633   end
634         
635   def sql_find_relations_in_area_and_ways(xmin,ymin,xmax,ymax,way_ids)
636         # ** It would be more Potlatchy to get relations for nodes within ways
637         #    during 'getway', not here
638         sql=<<-EOF
639           SELECT DISTINCT cr.id AS relid 
640                 FROM current_relations cr
641   INNER JOIN current_relation_members crm ON crm.id=cr.id 
642   INNER JOIN current_nodes cn ON crm.member_id=cn.id AND crm.member_type='node' 
643            WHERE #{OSM.sql_for_area(ymin, xmin, ymax, xmax, "cn.")}
644         EOF
645         unless way_ids.empty?
646           sql+=<<-EOF
647            UNION
648           SELECT DISTINCT cr.id AS relid
649                 FROM current_relations cr
650   INNER JOIN current_relation_members crm ON crm.id=cr.id
651            WHERE crm.member_type='way' 
652                  AND crm.member_id IN (#{way_ids.join(',')})
653           EOF
654         end
655         return ActiveRecord::Base.connection.select_all(sql).collect { |a| a['relid'].to_i }.uniq
656   end
657         
658   def sql_get_nodes_in_way(wayid)
659         points=[]
660         sql=<<-EOF
661                 SELECT latitude*0.0000001 AS lat,longitude*0.0000001 AS lon,current_nodes.id,tags 
662                   FROM current_way_nodes,current_nodes 
663                  WHERE current_way_nodes.id=#{wayid.to_i} 
664                    AND current_way_nodes.node_id=current_nodes.id 
665                    AND current_nodes.visible=TRUE
666           ORDER BY sequence_id
667           EOF
668         ActiveRecord::Base.connection.select_all(sql).each do |row|
669           nodetags=tagstring_to_hash(row['tags'])
670           nodetags.delete('created_by')
671           points << [row['lon'].to_f,row['lat'].to_f,row['id'].to_i,nodetags]
672         end
673         points
674   end
675         
676   def sql_get_tags_in_way(wayid)
677         tags={}
678         ActiveRecord::Base.connection.select_all("SELECT k,v FROM current_way_tags WHERE id=#{wayid.to_i}").each do |row|
679           tags[row['k']]=row['v']
680         end
681         tags
682   end
683
684 end
685
686 # Local Variables:
687 # indent-tabs-mode: t
688 # tab-width: 4
689 # End: