]> git.openstreetmap.org Git - nominatim.git/blobdiff - sql/functions.sql
Merge pull request #667 from lonvia/refactor-nearpoint
[nominatim.git] / sql / functions.sql
index 8f2611d4f576fe963631dab346ef3ee7e6f9c24a..61228c422dd129a87fd879b7e679ef34aa56531e 100644 (file)
@@ -598,7 +598,7 @@ BEGIN
 
   IF addr_street is null and addr_place is null THEN
     select nodes from planet_osm_ways where id = wayid INTO waynodes;
-    FOR location IN SELECT placex.street, placex.addr_place from placex 
+    FOR location IN SELECT placex.street, placex.addr_place from placex
                     where osm_type = 'N' and osm_id = ANY(waynodes)
                           and (placex.street is not null or placex.addr_place is not null)
                           and indexed_status < 100
@@ -647,98 +647,27 @@ $$
 LANGUAGE plpgsql;
 
 
-CREATE OR REPLACE FUNCTION insert_osmline(wayid BIGINT, interpolationtype TEXT,
-                                                street TEXT, addr_place TEXT, 
-                                                defpostalcode TEXT, country_code TEXT,
-                                                geom GEOMETRY)
-RETURNS INTEGER AS $$
-DECLARE
-
-  newpoints INTEGER;
-  waynodes BIGINT[];
-  nodeid BIGINT;
-  prevnode RECORD;
-  nextnode RECORD;
-  startnumber INTEGER;
-  endnumber INTEGER;
-  housenum INTEGER;
-  linegeo GEOMETRY;
-  splitline GEOMETRY;
-  sectiongeo GEOMETRY;
-  pointgeo GEOMETRY;
-  place_centroid GEOMETRY;
-  calculated_country_code VARCHAR(2);
-  partition INTEGER;
-  geometry_sector INTEGER;
-
+CREATE OR REPLACE FUNCTION osmline_insert() RETURNS TRIGGER
+  AS $$
 BEGIN
-  place_centroid := ST_PointOnSurface(geom);
-  calculated_country_code := lower(get_country_code(place_centroid));
-  partition := get_partition(calculated_country_code);
-  geometry_sector := geometry_sector(partition, place_centroid);
-
-  IF interpolationtype != 'odd' AND interpolationtype != 'even' AND interpolationtype!='all' THEN
-    -- other interpolation types than odd/even/all (e.g. numeric ones) are not supported
-    RETURN 0;
-  END IF;
-
-  select nodes from planet_osm_ways where id = wayid INTO waynodes;
-
-  IF array_upper(waynodes, 1) IS NULL THEN
-    RETURN 0;
-  END IF;
-
-  linegeo := geom;
-  startnumber := NULL;
-
-  FOR nodeidpos in 1..array_upper(waynodes, 1) LOOP
+  NEW.place_id := nextval('seq_place');
+  NEW.indexed_date := now();
 
-    select * from place where osm_type = 'N' and osm_id = waynodes[nodeidpos]::BIGINT
-                               and housenumber is not NULL limit 1 INTO nextnode;
-    --RAISE NOTICE 'Nextnode.place_id: %s', nextnode.place_id;
-    IF nextnode.osm_id IS NOT NULL THEN
-      --RAISE NOTICE 'place_id is not null';
-      IF nodeidpos > 1 and nodeidpos < array_upper(waynodes, 1) THEN
-        -- Make sure that the point is actually on the line. That might
-        -- be a bit paranoid but ensures that the algorithm still works
-        -- should osm2pgsql attempt to repair geometries.
-        splitline := split_line_on_node(linegeo, nextnode.geometry);
-        sectiongeo := ST_GeometryN(splitline, 1);
-        linegeo := ST_GeometryN(splitline, 2);
-      ELSE
-        sectiongeo = linegeo;
+  IF NEW.indexed_status IS NULL THEN
+      IF NEW.interpolationtype NOT IN ('odd', 'even', 'all') THEN
+        -- other interpolation types than odd/even/all (e.g. numeric ones) are not supported
+        RETURN NULL;
       END IF;
-      endnumber := substring(nextnode.housenumber,'[0-9]+')::integer;
 
-      IF startnumber IS NOT NULL AND endnumber IS NOT NULL
-         AND @(startnumber - endnumber) < 1000 AND startnumber != endnumber
-         AND ST_GeometryType(sectiongeo) = 'ST_LineString' THEN
+      NEW.indexed_status := 1; --STATUS_NEW
 
-        IF (startnumber > endnumber) THEN
-          housenum := endnumber;
-          endnumber := startnumber;
-          startnumber := housenum;
-          sectiongeo := ST_Reverse(sectiongeo);
-        END IF;
+      NEW.calculated_country_code := lower(get_country_code(NEW.linegeo));
 
-        insert into location_property_osmline
-          values (sectiongeo, nextval('seq_place'), partition, wayid, NULL, startnumber, endnumber, 
-          interpolationtype, street, coalesce(prevnode.postcode, defpostalcode),
-          calculated_country_code, geometry_sector, 2, now());
-      END IF;
-
-      -- early break if we are out of line string,
-      -- might happen when a line string loops back on itself
-      IF ST_GeometryType(linegeo) != 'ST_LineString' THEN
-          RETURN 0;
-      END IF;
-
-      startnumber := substring(nextnode.housenumber,'[0-9]+')::integer;
-      prevnode := nextnode;
-    END IF;
-  END LOOP;
+      NEW.partition := get_partition(NEW.calculated_country_code);
+      NEW.geometry_sector := geometry_sector(NEW.partition, NEW.linegeo);
+  END IF;
 
-  RETURN 1;
+  RETURN NEW;
 END;
 $$
 LANGUAGE plpgsql;
@@ -756,19 +685,6 @@ DECLARE
   classtable TEXT;
   line RECORD;
 BEGIN
-  --DEBUG: RAISE WARNING '% %',NEW.osm_type,NEW.osm_id;
-
-  -- ignore interpolated addresses, not necessary anymore, cause interpolated addresses are now in location_property_osmline
-  IF NEW.class = 'place' and NEW.type = 'address' THEN
-    RETURN NEW;
-  END IF;
-
-  IF ST_IsEmpty(NEW.geometry) OR NOT ST_IsValid(NEW.geometry) OR ST_X(ST_Centroid(NEW.geometry))::text in ('NaN','Infinity','-Infinity') OR ST_Y(ST_Centroid(NEW.geometry))::text in ('NaN','Infinity','-Infinity') THEN  
-    -- block all invalid geometary - just not worth the risk.  seg faults are causing serious problems.
-    RAISE WARNING 'invalid geometry %',NEW.osm_id;
-    RETURN NULL;
-  END IF;
-
   --DEBUG: RAISE WARNING '% % % %',NEW.osm_type,NEW.osm_id,NEW.class,NEW.type;
 
   NEW.place_id := nextval('seq_place');
@@ -1066,31 +982,129 @@ TRIGGER
   AS $$
 DECLARE
   place_centroid GEOMETRY;
+  waynodes BIGINT[];
+  prevnode RECORD;
+  nextnode RECORD;
+  startnumber INTEGER;
+  endnumber INTEGER;
+  housenum INTEGER;
+  linegeo GEOMETRY;
+  splitline GEOMETRY;
+  sectiongeo GEOMETRY;
+  street TEXT;
+  addr_place TEXT;
+  postcode TEXT;
 BEGIN
   -- deferred delete
   IF OLD.indexed_status = 100 THEN
     delete from location_property_osmline where place_id = OLD.place_id;
     RETURN NULL;
   END IF;
-  
+
   IF NEW.indexed_status != 0 OR OLD.indexed_status = 0 THEN
     RETURN NEW;
   END IF;
-  
-  IF OLD.indexed_status = 2 and NEW.indexed_status=0 THEN
-    -- do the reparenting: (finally here, because ALL places in placex, that are needed for reparenting, need to be up to date)
-    -- (the osm interpolationline in location_property_osmline was marked for reparenting in placex_insert/placex_delete with index_status = 2 
-    -- => index.c: sets index_status back to 0
-    -- => triggers this function)
-    place_centroid := ST_PointOnSurface(NEW.linegeo);
-    -- marking descendants for reparenting is not needed, because there are actually no descendants for interpolation lines
-    NEW.parent_place_id = get_interpolation_parent(NEW.osm_id, NEW.street, null, NEW.partition, place_centroid, NEW.linegeo); -- addr_place (3rd param) is not necessarily needed
-    return NEW;
+
+  -- do the reparenting: (finally here, because ALL places in placex,
+  -- that are needed for reparenting, need to be up to date)
+  -- (the osm interpolationline in location_property_osmline was marked for
+  --  reparenting in placex_insert/placex_delete with index_status = 1 or 2 (1 inset, 2 delete)
+  -- => index.c: sets index_status back to 0
+  -- => triggers this function)
+  place_centroid := ST_PointOnSurface(NEW.linegeo);
+  -- marking descendants for reparenting is not needed, because there are
+  -- actually no descendants for interpolation lines
+  NEW.parent_place_id = get_interpolation_parent(NEW.osm_id, NEW.street, NEW.addr_place,
+                                                 NEW.partition, place_centroid, NEW.linegeo);
+
+  -- if we are just updating then our work is done
+  IF OLD.indexed_status != 1 THEN
+      return NEW;
   END IF;
+
+  -- otherwise split the line as necessary
+  select nodes from planet_osm_ways where id = NEW.osm_id INTO waynodes;
+
+  IF array_upper(waynodes, 1) IS NULL THEN
+    RETURN 0;
+  END IF;
+
+  linegeo := NEW.linegeo;
+  startnumber := NULL;
+  street := NEW.street;
+  addr_place := NEW.addr_place;
+  postcode := NEW.postcode;
+
+  FOR nodeidpos in 1..array_upper(waynodes, 1) LOOP
+
+    select * from place where osm_type = 'N' and osm_id = waynodes[nodeidpos]::BIGINT
+                               and housenumber is not NULL limit 1 INTO nextnode;
+    --RAISE NOTICE 'Nextnode.place_id: %s', nextnode.place_id;
+    IF nextnode.osm_id IS NOT NULL THEN
+      --RAISE NOTICE 'place_id is not null';
+      IF nodeidpos > 1 and nodeidpos < array_upper(waynodes, 1) THEN
+        -- Make sure that the point is actually on the line. That might
+        -- be a bit paranoid but ensures that the algorithm still works
+        -- should osm2pgsql attempt to repair geometries.
+        splitline := split_line_on_node(linegeo, nextnode.geometry);
+        sectiongeo := ST_GeometryN(splitline, 1);
+        linegeo := ST_GeometryN(splitline, 2);
+      ELSE
+        sectiongeo = linegeo;
+      END IF;
+      endnumber := substring(nextnode.housenumber,'[0-9]+')::integer;
+
+      IF startnumber IS NOT NULL AND endnumber IS NOT NULL
+         AND startnumber != endnumber
+         AND ST_GeometryType(sectiongeo) = 'ST_LineString' THEN
+
+        IF (startnumber > endnumber) THEN
+          housenum := endnumber;
+          endnumber := startnumber;
+          startnumber := housenum;
+          sectiongeo := ST_Reverse(sectiongeo);
+        END IF;
+
+        IF NEW.startnumber IS NULL THEN
+            NEW.startnumber := startnumber;
+            NEW.endnumber := endnumber;
+            NEW.linegeo := sectiongeo;
+            NEW.street := coalesce(street, prevnode.street, nextnode.street);
+            NEW.addr_place := coalesce(addr_place, prevnode.addr_place, nextnode.addr_place);
+            NEW.postcode := coalesce(postcode, prevnode.postcode, nextnode.postcode);
+         ELSE
+          insert into location_property_osmline
+                 (linegeo, partition, osm_id, parent_place_id,
+                  startnumber, endnumber, interpolationtype,
+                  street, addr_place, postcode, calculated_country_code,
+                  geometry_sector, indexed_status)
+          values (sectiongeo, NEW.partition, NEW.osm_id, NEW.parent_place_id,
+                  startnumber, endnumber, NEW.interpolationtype,
+                  coalesce(street, prevnode.street, nextnode.street),
+                  coalesce(addr_place, prevnode.addr_place, nextnode.addr_place),
+                  coalesce(postcode, prevnode.postcode, nextnode.postcode),
+                  NEW.calculated_country_code, NEW.geometry_sector, 0);
+         END IF;
+      END IF;
+
+      -- early break if we are out of line string,
+      -- might happen when a line string loops back on itself
+      IF ST_GeometryType(linegeo) != 'ST_LineString' THEN
+          RETURN NEW;
+      END IF;
+
+      startnumber := substring(nextnode.housenumber,'[0-9]+')::integer;
+      prevnode := nextnode;
+    END IF;
+  END LOOP;
+
+  RETURN NEW;
 END;
 $$
 LANGUAGE plpgsql;
 
+
+
 CREATE OR REPLACE FUNCTION placex_update() RETURNS
 TRIGGER
   AS $$
@@ -1256,6 +1270,7 @@ BEGIN
 
 --RAISE WARNING 'before low level% %', NEW.place_id, NEW.rank_search;
 
+  -- ---------------------------------------------------------------------------
   -- For low level elements we inherit from our parent road
   IF (NEW.rank_search > 27 OR (NEW.type = 'postcode' AND NEW.rank_search = 25)) THEN
 
@@ -1320,47 +1335,30 @@ BEGIN
       END IF;
     END IF;
 
+    -- Is this node part of an interpolation?
+    IF NEW.parent_place_id IS NULL AND NEW.osm_type = 'N' THEN
+      FOR location IN
+        SELECT q.parent_place_id FROM location_property_osmline q, planet_osm_ways x
+         WHERE q.linegeo && NEW.geometry and x.id = q.osm_id and NEW.osm_id = any(x.nodes)
+         LIMIT 1
+      LOOP
+         NEW.parent_place_id := location.parent_place_id;
+      END LOOP;
+    END IF;
+
+    -- Is this node part of a way?
     IF NEW.parent_place_id IS NULL AND NEW.osm_type = 'N' THEN
 
---RAISE WARNING 'x1';
-      -- Is this node part of a way? search for the way in placex AND location_property_osmline (for interpolation lines)
-      FOR location IN select p.place_id, p.osm_id, p.parent_place_id, p.class, p.type, p.rank_search, p.street, p.addr_place from placex p, planet_osm_ways w
+      FOR location IN select p.place_id, p.osm_id, p.parent_place_id, p.rank_search, p.street, p.addr_place from placex p, planet_osm_ways w
          where p.osm_type = 'W' and p.rank_search >= 26 and p.geometry && NEW.geometry and w.id = p.osm_id and NEW.osm_id = any(w.nodes) 
-         UNION 
-         select q.place_id, q.osm_id, q.parent_place_id, 'place' as class, 'houses' as type, 30 as rank_search, null as street, 
-         null as addr_place from location_property_osmline q, planet_osm_ways x
-         where q.linegeo && NEW.geometry and x.id = q.osm_id and NEW.osm_id = any(x.nodes)
       LOOP
-        
---RAISE WARNING '%', location;
+
         -- Way IS a road then we are on it - that must be our road
-        IF location.rank_search = 26 AND NEW.parent_place_id IS NULL THEN
+        IF location.rank_search < 28 AND NEW.parent_place_id IS NULL THEN
 --RAISE WARNING 'node in way that is a street %',location;
           NEW.parent_place_id := location.place_id;
         END IF;
 
-        -- If this way is a street interpolation line then it is probably as good as we are going to get
-        IF NEW.parent_place_id IS NULL AND location.class = 'place' and location.type='houses' THEN
-          NEW.parent_place_id := location.parent_place_id;
-        END IF;
-
-        -- Is the WAY part of a relation
-        IF NEW.parent_place_id IS NULL THEN
-            FOR relation IN select * from planet_osm_rels where parts @> ARRAY[location.osm_id] and members @> ARRAY['w'||location.osm_id]
-            LOOP
-              -- At the moment we only process one type of relation - associatedStreet
-              IF relation.tags @> ARRAY['associatedStreet'] AND array_upper(relation.members, 1) IS NOT NULL THEN
-                FOR i IN 1..array_upper(relation.members, 1) BY 2 LOOP
-                  IF NEW.parent_place_id IS NULL AND relation.members[i+1] = 'street' THEN
-  --RAISE WARNING 'node in way that is in a relation %',relation;
-                    SELECT place_id from placex where osm_type='W' and osm_id = substring(relation.members[i],2,200)::bigint 
-                      and rank_search = 26 and name is not null INTO NEW.parent_place_id;
-                  END IF;
-                END LOOP;
-              END IF;
-            END LOOP;
-        END IF;
-
         -- If the way mentions a street or place address, try that for parenting.
         IF NEW.parent_place_id IS NULL AND location.street IS NOT NULL THEN
           address_street_word_ids := get_name_ids(make_standard_name(location.street));
@@ -1380,6 +1378,23 @@ BEGIN
           END IF;
         END IF;
 
+        -- Is the WAY part of a relation
+        IF NEW.parent_place_id IS NULL THEN
+            FOR relation IN select * from planet_osm_rels where parts @> ARRAY[location.osm_id] and members @> ARRAY['w'||location.osm_id]
+            LOOP
+              -- At the moment we only process one type of relation - associatedStreet
+              IF relation.tags @> ARRAY['associatedStreet'] AND array_upper(relation.members, 1) IS NOT NULL THEN
+                FOR i IN 1..array_upper(relation.members, 1) BY 2 LOOP
+                  IF NEW.parent_place_id IS NULL AND relation.members[i+1] = 'street' THEN
+  --RAISE WARNING 'node in way that is in a relation %',relation;
+                    SELECT place_id from placex where osm_type='W' and osm_id = substring(relation.members[i],2,200)::bigint 
+                      and rank_search = 26 and name is not null INTO NEW.parent_place_id;
+                  END IF;
+                END LOOP;
+              END IF;
+            END LOOP;
+        END IF;
+
       END LOOP;
 
     END IF;
@@ -1450,6 +1465,9 @@ BEGIN
 -- RAISE WARNING '  INDEXING Started:';
 -- RAISE WARNING '  INDEXING: %',NEW;
 
+  -- ---------------------------------------------------------------------------
+  -- Full indexing
+
   IF NEW.osm_type = 'R' AND NEW.rank_search < 26 THEN
 
     -- see if we have any special relation members
@@ -1918,7 +1936,7 @@ BEGIN
     RETURN null;
   END IF;
 
-  -- decide, whether it is an osm interpolation line => insert_osmline, or else just insert into placex
+  -- decide, whether it is an osm interpolation line => insert intoosmline, or else just placex
   IF NEW.class='place' and NEW.type='houses' and NEW.osm_type='W' and ST_GeometryType(NEW.geometry) = 'ST_LineString' THEN
     -- Have we already done this place?
     select * from place where osm_type = NEW.osm_type and osm_id = NEW.osm_id and class = NEW.class and type = NEW.type INTO existing;
@@ -1934,22 +1952,34 @@ BEGIN
     DELETE from import_polygon_error where osm_type = NEW.osm_type and osm_id = NEW.osm_id;
     DELETE from import_polygon_delete where osm_type = NEW.osm_type and osm_id = NEW.osm_id;
 
-    -- If there isn't an existing item in location_property_osmline, just add it
-    IF existingline.osm_id IS NULL THEN
-      -- insert new line into location_property_osmline, use function insert_osmline
-      i = insert_osmline(NEW.osm_id, NEW.housenumber, NEW.street, NEW.addr_place, NEW.postcode, NEW.country_code, NEW.geometry);
-      RETURN NEW;
+    -- update method for interpolation lines: delete all old interpolation lines with same osm_id (update on place) and insert the new one(s) (they can be split up, if they have > 2 nodes)
+    IF existingline.osm_id IS NOT NULL THEN
+      delete from location_property_osmline where osm_id = NEW.osm_id;
     END IF;
 
-    IF coalesce(existing.name::text, '') != coalesce(NEW.name::text, '')
-       OR coalesce(existing.extratags::text, '') != coalesce(NEW.extratags::text, '')
-       OR coalesce(existing.housenumber, '') != coalesce(NEW.housenumber, '')
+    -- for interpolations invalidate all nodes on the line
+    update placex p set indexed_status = 2
+      from planet_osm_ways w
+      where w.id = NEW.osm_id and p.osm_type = 'N' and p.osm_id = any(w.nodes);
+
+
+    INSERT INTO location_property_osmline
+           (osm_id, interpolationtype, street,
+            addr_place, postcode, calculated_country_code, linegeo)
+    VALUES (NEW.osm_id, NEW.housenumber, NEW.street,
+            NEW.addr_place, NEW.postcode, NEW.country_code, NEW.geometry);
+
+
+    IF existing.osm_type IS NULL THEN
+      return NEW;
+    END IF;
+
+    IF coalesce(existing.housenumber, '') != coalesce(NEW.housenumber, '')
        OR coalesce(existing.street, '') != coalesce(NEW.street, '')
        OR coalesce(existing.addr_place, '') != coalesce(NEW.addr_place, '')
        OR coalesce(existing.isin, '') != coalesce(NEW.isin, '')
        OR coalesce(existing.postcode, '') != coalesce(NEW.postcode, '')
        OR coalesce(existing.country_code, '') != coalesce(NEW.country_code, '')
-       OR coalesce(existing.admin_level, 15) != coalesce(NEW.admin_level, 15)
        OR existing.geometry::text != NEW.geometry::text
        THEN
 
@@ -1965,16 +1995,6 @@ BEGIN
         admin_level = NEW.admin_level,
         geometry = NEW.geometry
         where osm_type = NEW.osm_type and osm_id = NEW.osm_id and class = NEW.class and type = NEW.type;
-
-      -- update method for interpolation lines: delete all old interpolation lines with same osm_id (update on place) and insert the new one(s) (they can be split up, if they have > 2 nodes)
-      delete from location_property_osmline where osm_id = NEW.osm_id;
-      i = insert_osmline(NEW.osm_id, NEW.housenumber, NEW.street, NEW.addr_place,
-                         NEW.postcode, NEW.country_code, NEW.geometry);
-
-      -- for interpolations invalidate all nodes on the line
-      update placex p set indexed_status = 2
-        from planet_osm_ways w
-        where w.id = NEW.osm_id and p.osm_type = 'N' and p.osm_id = any(w.nodes);
     END IF;
 
     RETURN NULL;
@@ -1983,7 +2003,10 @@ BEGIN
 
     -- Patch in additional country names
     IF NEW.admin_level = 2 AND NEW.type = 'administrative' AND NEW.country_code is not null THEN
-      select coalesce(country_name.name || NEW.name,NEW.name) from country_name where country_name.country_code = lower(NEW.country_code) INTO NEW.name;
+        SELECT name FROM country_name WHERE country_code = lower(NEW.country_code) INTO existing;
+        IF existing.name IS NOT NULL THEN
+            NEW.name = existing.name || NEW.name;
+        END IF;
     END IF;
       
     -- Have we already done this place?
@@ -2338,7 +2361,7 @@ BEGIN
 
   IF for_place_id IS NULL THEN
     select parent_place_id, calculated_country_code, housenumber, rank_search, postcode, name, class, type from placex 
-      WHERE place_id = in_place_id and rank_address = 30 
+      WHERE place_id = in_place_id and  rank_search > 27
       INTO for_place_id, searchcountrycode, searchhousenumber, searchrankaddress, searchpostcode, searchhousename, searchclass, searchtype;
   END IF;