]> git.openstreetmap.org Git - nominatim.git/blob - lib-sql/functions/utils.sql
split up MultiPolygons before adding them to large_areas table
[nominatim.git] / lib-sql / functions / utils.sql
1 -- SPDX-License-Identifier: GPL-2.0-only
2 --
3 -- This file is part of Nominatim. (https://nominatim.org)
4 --
5 -- Copyright (C) 2022 by the Nominatim developer community.
6 -- For a full list of authors see the git log.
7
8 -- Assorted helper functions for the triggers.
9
10 CREATE OR REPLACE FUNCTION get_center_point(place GEOMETRY)
11   RETURNS GEOMETRY
12   AS $$
13 DECLARE
14   geom_type TEXT;
15 BEGIN
16   geom_type := ST_GeometryType(place);
17   IF geom_type = ' ST_Point' THEN
18     RETURN place;
19   END IF;
20   IF geom_type = 'ST_LineString' THEN
21     RETURN ST_LineInterpolatePoint(place, 0.5);
22   END IF;
23
24   RETURN ST_PointOnSurface(place);
25 END;
26 $$
27 LANGUAGE plpgsql IMMUTABLE;
28
29
30 CREATE OR REPLACE FUNCTION geometry_sector(partition INTEGER, place GEOMETRY)
31   RETURNS INTEGER
32   AS $$
33 BEGIN
34   RETURN (partition*1000000) + (500-ST_X(place)::INTEGER)*1000 + (500-ST_Y(place)::INTEGER);
35 END;
36 $$
37 LANGUAGE plpgsql IMMUTABLE;
38
39
40
41 CREATE OR REPLACE FUNCTION array_merge(a INTEGER[], b INTEGER[])
42   RETURNS INTEGER[]
43   AS $$
44 DECLARE
45   i INTEGER;
46   r INTEGER[];
47 BEGIN
48   IF array_upper(a, 1) IS NULL THEN
49     RETURN b;
50   END IF;
51   IF array_upper(b, 1) IS NULL THEN
52     RETURN a;
53   END IF;
54   r := a;
55   FOR i IN 1..array_upper(b, 1) LOOP  
56     IF NOT (ARRAY[b[i]] <@ r) THEN
57       r := r || b[i];
58     END IF;
59   END LOOP;
60   RETURN r;
61 END;
62 $$
63 LANGUAGE plpgsql IMMUTABLE;
64
65 -- Return the node members with a given label from a relation member list
66 -- as a set.
67 --
68 -- \param members      Member list in osm2pgsql middle format.
69 -- \param memberLabels Array of labels to accept.
70 --
71 -- \returns Set of OSM ids of nodes that are found.
72 --
73 CREATE OR REPLACE FUNCTION get_rel_node_members(members TEXT[],
74                                                 memberLabels TEXT[])
75   RETURNS SETOF BIGINT
76   AS $$
77 DECLARE
78   i INTEGER;
79 BEGIN
80   FOR i IN 1..ARRAY_UPPER(members,1) BY 2 LOOP
81     IF members[i+1] = ANY(memberLabels)
82        AND upper(substring(members[i], 1, 1))::char(1) = 'N'
83     THEN
84       RETURN NEXT substring(members[i], 2)::bigint;
85     END IF;
86   END LOOP;
87
88   RETURN;
89 END;
90 $$
91 LANGUAGE plpgsql IMMUTABLE;
92
93
94 CREATE OR REPLACE FUNCTION get_rel_node_members(members JSONB, memberLabels TEXT[])
95   RETURNS SETOF BIGINT
96   AS $$
97 DECLARE
98   member JSONB;
99 BEGIN
100   FOR member IN SELECT * FROM jsonb_array_elements(members)
101   LOOP
102     IF member->>'type' = 'N' and member->>'role' = ANY(memberLabels) THEN
103         RETURN NEXT (member->>'ref')::bigint;
104     END IF;
105   END LOOP;
106
107   RETURN;
108 END;
109 $$
110 LANGUAGE plpgsql IMMUTABLE;
111
112
113 -- Copy 'name' to or from the default language.
114 --
115 -- \param country_code     Country code of the object being named.
116 -- \param[inout] name      List of names of the object.
117 --
118 -- If the country named by country_code has a single default language,
119 -- then a `name` tag is copied to `name:<country_code>` if this tag does
120 -- not yet exist and vice versa.
121 CREATE OR REPLACE FUNCTION add_default_place_name(country_code VARCHAR(2),
122                                                   INOUT name HSTORE)
123   AS $$
124 DECLARE
125   default_language VARCHAR(10);
126 BEGIN
127   IF name is not null AND array_upper(akeys(name),1) > 1 THEN
128     default_language := get_country_language_code(country_code);
129     IF default_language IS NOT NULL THEN
130       IF name ? 'name' AND NOT name ? ('name:'||default_language) THEN
131         name := name || hstore(('name:'||default_language), (name -> 'name'));
132       ELSEIF name ? ('name:'||default_language) AND NOT name ? 'name' THEN
133         name := name || hstore('name', (name -> ('name:'||default_language)));
134       END IF;
135     END IF;
136   END IF;
137 END;
138 $$
139 LANGUAGE plpgsql IMMUTABLE;
140
141
142 -- Find the nearest artificial postcode for the given geometry.
143 -- TODO For areas there should not be more than two inside the geometry.
144 CREATE OR REPLACE FUNCTION get_nearest_postcode(country VARCHAR(2), geom GEOMETRY)
145   RETURNS TEXT
146   AS $$
147 DECLARE
148   outcode TEXT;
149   cnt INTEGER;
150 BEGIN
151     -- If the geometry is an area then only one postcode must be within
152     -- that area, otherwise consider the area as not having a postcode.
153     IF ST_GeometryType(geom) in ('ST_Polygon','ST_MultiPolygon') THEN
154         SELECT min(postcode), count(*) FROM
155               (SELECT postcode FROM location_postcode
156                 WHERE ST_Contains(geom, location_postcode.geometry) LIMIT 2) sub
157           INTO outcode, cnt;
158
159         IF cnt = 1 THEN
160             RETURN outcode;
161         ELSE
162             RETURN null;
163         END IF;
164     END IF;
165
166     SELECT postcode FROM location_postcode
167      WHERE ST_DWithin(geom, location_postcode.geometry, 0.05)
168           AND location_postcode.country_code = country
169      ORDER BY ST_Distance(geom, location_postcode.geometry) LIMIT 1
170     INTO outcode;
171
172     RETURN outcode;
173 END;
174 $$
175 LANGUAGE plpgsql STABLE;
176
177
178 CREATE OR REPLACE FUNCTION get_country_code(place geometry)
179   RETURNS TEXT
180   AS $$
181 DECLARE
182   nearcountry RECORD;
183   countries TEXT[];
184 BEGIN
185 -- RAISE WARNING 'get_country_code, start: %', ST_AsText(place);
186
187   -- Try for a OSM polygon
188   SELECT array_agg(country_code) FROM location_area_country
189     WHERE country_code is not null and st_covers(geometry, place)
190     INTO countries;
191
192   IF array_length(countries, 1) = 1 THEN
193     RETURN countries[1];
194   END IF;
195
196   IF array_length(countries, 1) > 1 THEN
197     -- more than one country found, confirm against the fallback data what to choose
198     FOR nearcountry IN
199         SELECT country_code FROM country_osm_grid
200           WHERE ST_Covers(geometry, place) AND country_code = ANY(countries)
201           ORDER BY area ASC
202     LOOP
203         RETURN nearcountry.country_code;
204     END LOOP;
205     -- Still nothing? Choose the country code with the smallest partition number.
206     -- And failing that, just go by the alphabet.
207     FOR nearcountry IN
208         SELECT cc,
209                (SELECT partition FROM country_name WHERE country_code = cc) as partition
210         FROM unnest(countries) cc
211         ORDER BY partition, cc
212     LOOP
213         RETURN nearcountry.cc;
214     END LOOP;
215
216     -- Should never be reached.
217     RETURN countries[1];
218   END IF;
219
220 -- RAISE WARNING 'osm fallback: %', ST_AsText(place);
221
222   -- Try for OSM fallback data
223   -- The order is to deal with places like HongKong that are 'states' within another polygon
224   FOR nearcountry IN
225     SELECT country_code from country_osm_grid
226     WHERE st_covers(geometry, place) order by area asc limit 1
227   LOOP
228     RETURN nearcountry.country_code;
229   END LOOP;
230
231 -- RAISE WARNING 'near osm fallback: %', ST_AsText(place);
232
233   RETURN NULL;
234 END;
235 $$
236 LANGUAGE plpgsql STABLE;
237
238
239 CREATE OR REPLACE FUNCTION get_country_language_code(search_country_code VARCHAR(2))
240   RETURNS TEXT
241   AS $$
242 DECLARE
243   nearcountry RECORD;
244 BEGIN
245   FOR nearcountry IN
246     SELECT distinct country_default_language_code from country_name
247     WHERE country_code = search_country_code limit 1
248   LOOP
249     RETURN lower(nearcountry.country_default_language_code);
250   END LOOP;
251   RETURN NULL;
252 END;
253 $$
254 LANGUAGE plpgsql STABLE;
255
256
257 CREATE OR REPLACE FUNCTION get_partition(in_country_code VARCHAR(10))
258   RETURNS INTEGER
259   AS $$
260 DECLARE
261   nearcountry RECORD;
262 BEGIN
263   FOR nearcountry IN
264     SELECT partition from country_name where country_code = in_country_code
265   LOOP
266     RETURN nearcountry.partition;
267   END LOOP;
268   RETURN 0;
269 END;
270 $$
271 LANGUAGE plpgsql STABLE;
272
273
274 -- Find the parent of an address with addr:street/addr:place tag.
275 --
276 -- \param token_info Naming info with the address information.
277 -- \param partition  Partition where to search the parent.
278 -- \param centroid   Location of the address.
279 --
280 -- \return Place ID of the parent if one was found, NULL otherwise.
281 CREATE OR REPLACE FUNCTION find_parent_for_address(token_info JSONB,
282                                                    partition SMALLINT,
283                                                    centroid GEOMETRY)
284   RETURNS BIGINT
285   AS $$
286 DECLARE
287   parent_place_id BIGINT;
288 BEGIN
289   -- Check for addr:street attributes
290   parent_place_id := getNearestNamedRoadPlaceId(partition, centroid, token_info);
291   IF parent_place_id is not null THEN
292     {% if debug %}RAISE WARNING 'Get parent from addr:street: %', parent_place_id;{% endif %}
293     RETURN parent_place_id;
294   END IF;
295
296   -- Check for addr:place attributes.
297   parent_place_id := getNearestNamedPlacePlaceId(partition, centroid, token_info);
298   {% if debug %}RAISE WARNING 'Get parent from addr:place: %', parent_place_id;{% endif %}
299   RETURN parent_place_id;
300 END;
301 $$
302 LANGUAGE plpgsql STABLE;
303
304
305 CREATE OR REPLACE FUNCTION delete_location(OLD_place_id BIGINT)
306   RETURNS BOOLEAN
307   AS $$
308 DECLARE
309 BEGIN
310   DELETE FROM location_area where place_id = OLD_place_id;
311 -- TODO:location_area
312   RETURN true;
313 END;
314 $$
315 LANGUAGE plpgsql;
316
317 -- Create a bounding box with an extent computed from the radius (in meters)
318 -- which in turn is derived from the given search rank.
319 CREATE OR REPLACE FUNCTION place_node_fuzzy_area(geom GEOMETRY, rank_search INTEGER)
320   RETURNS GEOMETRY
321   AS $$
322 DECLARE
323   radius FLOAT := 500;
324 BEGIN
325   IF rank_search <= 16 THEN -- city
326     radius := 15000;
327   ELSIF rank_search <= 18 THEN -- town
328     radius := 4000;
329   ELSIF rank_search <= 19 THEN -- village
330     radius := 2000;
331   ELSIF rank_search  <= 20 THEN -- hamlet
332     radius := 1000;
333   END IF;
334
335   RETURN ST_Envelope(ST_Collect(
336                      ST_Project(geom::geography, radius, 0.785398)::geometry,
337                      ST_Project(geom::geography, radius, 3.9269908)::geometry));
338 END;
339 $$
340 LANGUAGE plpgsql IMMUTABLE;
341
342
343 CREATE OR REPLACE FUNCTION add_location(place_id BIGINT, country_code varchar(2),
344                                         partition INTEGER, keywords INTEGER[],
345                                         rank_search INTEGER, rank_address INTEGER,
346                                         in_postcode TEXT, geometry GEOMETRY,
347                                         centroid GEOMETRY)
348   RETURNS BOOLEAN
349   AS $$
350 DECLARE
351   postcode TEXT;
352 BEGIN
353   PERFORM deleteLocationArea(partition, place_id, rank_search);
354
355   -- add postcode only if it contains a single entry, i.e. ignore postcode lists
356   postcode := NULL;
357   IF in_postcode is not null AND in_postcode not similar to '%(,|;)%' THEN
358       postcode := upper(trim (in_postcode));
359   END IF;
360
361   IF ST_Dimension(geometry) = 2 THEN
362     RETURN insertLocationAreaLarge(partition, place_id, country_code, keywords,
363                                    rank_search, rank_address, false, postcode,
364                                    centroid, geometry);
365   END IF;
366
367   IF ST_Dimension(geometry) = 0 THEN
368     RETURN insertLocationAreaLarge(partition, place_id, country_code, keywords,
369                                    rank_search, rank_address, true, postcode,
370                                    centroid, place_node_fuzzy_area(geometry, rank_search));
371   END IF;
372
373   RETURN false;
374 END;
375 $$
376 LANGUAGE plpgsql;
377
378
379 CREATE OR REPLACE FUNCTION quad_split_geometry(geometry GEOMETRY, maxarea FLOAT,
380                                                maxdepth INTEGER)
381   RETURNS SETOF GEOMETRY
382   AS $$
383 DECLARE
384   xmin FLOAT;
385   ymin FLOAT;
386   xmax FLOAT;
387   ymax FLOAT;
388   xmid FLOAT;
389   ymid FLOAT;
390   secgeo GEOMETRY;
391   secbox GEOMETRY;
392   seg INTEGER;
393   geo RECORD;
394   area FLOAT;
395   remainingdepth INTEGER;
396 BEGIN
397 --  RAISE WARNING 'quad_split_geometry: maxarea=%, depth=%',maxarea,maxdepth;
398
399   IF not ST_IsValid(geometry) THEN
400     RETURN;
401   END IF;
402
403   IF ST_Dimension(geometry) != 2 OR maxdepth <= 1 THEN
404     RETURN NEXT geometry;
405     RETURN;
406   END IF;
407
408   remainingdepth := maxdepth - 1;
409   area := ST_AREA(geometry);
410   IF area < maxarea THEN
411     RETURN NEXT geometry;
412     RETURN;
413   END IF;
414
415   xmin := st_xmin(geometry);
416   xmax := st_xmax(geometry);
417   ymin := st_ymin(geometry);
418   ymax := st_ymax(geometry);
419   secbox := ST_SetSRID(ST_MakeBox2D(ST_Point(ymin,xmin),ST_Point(ymax,xmax)),4326);
420
421   -- if the geometry completely covers the box don't bother to slice any more
422   IF ST_AREA(secbox) = area THEN
423     RETURN NEXT geometry;
424     RETURN;
425   END IF;
426
427   xmid := (xmin+xmax)/2;
428   ymid := (ymin+ymax)/2;
429
430   FOR seg IN 1..4 LOOP
431
432     IF seg = 1 THEN
433       secbox := ST_SetSRID(ST_MakeBox2D(ST_Point(xmin,ymin),ST_Point(xmid,ymid)),4326);
434     END IF;
435     IF seg = 2 THEN
436       secbox := ST_SetSRID(ST_MakeBox2D(ST_Point(xmin,ymid),ST_Point(xmid,ymax)),4326);
437     END IF;
438     IF seg = 3 THEN
439       secbox := ST_SetSRID(ST_MakeBox2D(ST_Point(xmid,ymin),ST_Point(xmax,ymid)),4326);
440     END IF;
441     IF seg = 4 THEN
442       secbox := ST_SetSRID(ST_MakeBox2D(ST_Point(xmid,ymid),ST_Point(xmax,ymax)),4326);
443     END IF;
444
445     secgeo := st_intersection(geometry, secbox);
446     IF NOT ST_IsEmpty(secgeo) AND ST_Dimension(secgeo) = 2 THEN
447       FOR geo IN SELECT quad_split_geometry(secgeo, maxarea, remainingdepth) as geom LOOP
448         IF NOT ST_IsEmpty(geo.geom) AND ST_Dimension(geo.geom) = 2 THEN
449           RETURN NEXT geo.geom;
450         END IF;
451       END LOOP;
452     END IF;
453   END LOOP;
454
455   RETURN;
456 END;
457 $$
458 LANGUAGE plpgsql IMMUTABLE;
459
460
461 CREATE OR REPLACE FUNCTION split_geometry(geometry GEOMETRY)
462   RETURNS SETOF GEOMETRY
463   AS $$
464 DECLARE
465   geo RECORD;
466 BEGIN
467   IF ST_GeometryType(geometry) = 'ST_MultiPolygon'
468      and ST_Area(geometry) * 10 > ST_Area(Box2D(geometry))
469   THEN
470     FOR geo IN
471         SELECT quad_split_geometry(g, 0.25, 20) as geom
472         FROM (SELECT (ST_Dump(geometry)).geom::geometry(Polygon, 4326) AS g) xx
473     LOOP
474       RETURN NEXT geo.geom;
475     END LOOP;
476   ELSE
477     FOR geo IN
478         SELECT quad_split_geometry(geometry, 0.25, 20) as geom
479     LOOP
480       RETURN NEXT geo.geom;
481     END LOOP;
482   END IF;
483   RETURN;
484 END;
485 $$
486 LANGUAGE plpgsql IMMUTABLE;
487
488 CREATE OR REPLACE FUNCTION simplify_large_polygons(geometry GEOMETRY)
489   RETURNS GEOMETRY
490   AS $$
491 BEGIN
492   IF ST_GeometryType(geometry) in ('ST_Polygon','ST_MultiPolygon')
493      and ST_MemSize(geometry) > 3000000
494   THEN
495     geometry := ST_SimplifyPreserveTopology(geometry, 0.0001);
496   END IF;
497   RETURN geometry;
498 END;
499 $$
500 LANGUAGE plpgsql IMMUTABLE;
501
502
503 CREATE OR REPLACE FUNCTION place_force_delete(placeid BIGINT)
504   RETURNS BOOLEAN
505   AS $$
506 DECLARE
507     osmid BIGINT;
508     osmtype character(1);
509     pclass text;
510     ptype text;
511 BEGIN
512   SELECT osm_type, osm_id, class, type FROM placex WHERE place_id = placeid INTO osmtype, osmid, pclass, ptype;
513   DELETE FROM import_polygon_delete where osm_type = osmtype and osm_id = osmid and class = pclass and type = ptype;
514   DELETE FROM import_polygon_error where osm_type = osmtype and osm_id = osmid and class = pclass and type = ptype;
515   -- force delete by directly entering it into the to-be-deleted table
516   INSERT INTO place_to_be_deleted (osm_type, osm_id, class, type, deferred)
517          VALUES(osmtype, osmid, pclass, ptype, false);
518   PERFORM flush_deleted_places();
519
520   RETURN TRUE;
521 END;
522 $$
523 LANGUAGE plpgsql;
524
525
526 CREATE OR REPLACE FUNCTION place_force_update(placeid BIGINT)
527   RETURNS BOOLEAN
528   AS $$
529 DECLARE
530   placegeom GEOMETRY;
531   geom GEOMETRY;
532   diameter FLOAT;
533   rank SMALLINT;
534 BEGIN
535   UPDATE placex SET indexed_status = 2 WHERE place_id = placeid;
536
537   SELECT geometry, rank_address INTO placegeom, rank
538     FROM placex WHERE place_id = placeid;
539
540   IF placegeom IS NOT NULL AND ST_IsValid(placegeom) THEN
541     IF ST_GeometryType(placegeom) in ('ST_Polygon','ST_MultiPolygon')
542        AND rank > 0
543     THEN
544       FOR geom IN SELECT split_geometry(placegeom) LOOP
545         UPDATE placex SET indexed_status = 2
546          WHERE ST_Intersects(geom, placex.geometry)
547                and indexed_status = 0
548                and ((rank_address = 0 and rank_search > rank) or rank_address > rank)
549                and (rank_search < 28 or name is not null or (rank >= 16 and address ? 'place'));
550       END LOOP;
551     ELSE
552         diameter := update_place_diameter(rank);
553         IF diameter > 0 THEN
554           IF rank >= 26 THEN
555             -- roads may cause reparenting for >27 rank places
556             update placex set indexed_status = 2 where indexed_status = 0 and rank_search > rank and ST_DWithin(placex.geometry, placegeom, diameter);
557           ELSEIF rank >= 16 THEN
558             -- up to rank 16, street-less addresses may need reparenting
559             update placex set indexed_status = 2 where indexed_status = 0 and rank_search > rank and ST_DWithin(placex.geometry, placegeom, diameter) and (rank_search < 28 or name is not null or address ? 'place');
560           ELSE
561             -- for all other places the search terms may change as well
562             update placex set indexed_status = 2 where indexed_status = 0 and rank_search > rank and ST_DWithin(placex.geometry, placegeom, diameter) and (rank_search < 28 or name is not null);
563           END IF;
564         END IF;
565     END IF;
566     RETURN TRUE;
567   END IF;
568
569   RETURN FALSE;
570 END;
571 $$
572 LANGUAGE plpgsql;
573
574 CREATE OR REPLACE FUNCTION flush_deleted_places()
575   RETURNS INTEGER
576   AS $$
577 BEGIN
578   -- deleting large polygons can have a massive effect on the system - require manual intervention to let them through
579   INSERT INTO import_polygon_delete (osm_type, osm_id, class, type)
580     SELECT osm_type, osm_id, class, type FROM place_to_be_deleted WHERE deferred;
581
582   -- delete from place table
583   ALTER TABLE place DISABLE TRIGGER place_before_delete;
584   DELETE FROM place USING place_to_be_deleted
585     WHERE place.osm_type = place_to_be_deleted.osm_type
586           and place.osm_id = place_to_be_deleted.osm_id
587           and place.class = place_to_be_deleted.class
588           and place.type = place_to_be_deleted.type
589           and not deferred;
590   ALTER TABLE place ENABLE TRIGGER place_before_delete;
591
592   -- Mark for delete in the placex table
593   UPDATE placex SET indexed_status = 100 FROM place_to_be_deleted
594     WHERE placex.osm_type = 'N' and place_to_be_deleted.osm_type = 'N'
595           and placex.osm_id = place_to_be_deleted.osm_id
596           and placex.class = place_to_be_deleted.class
597           and placex.type = place_to_be_deleted.type
598           and not deferred;
599   UPDATE placex SET indexed_status = 100 FROM place_to_be_deleted
600     WHERE placex.osm_type = 'W' and place_to_be_deleted.osm_type = 'W'
601           and placex.osm_id = place_to_be_deleted.osm_id
602           and placex.class = place_to_be_deleted.class
603           and placex.type = place_to_be_deleted.type
604           and not deferred;
605   UPDATE placex SET indexed_status = 100 FROM place_to_be_deleted
606     WHERE placex.osm_type = 'R' and place_to_be_deleted.osm_type = 'R'
607           and placex.osm_id = place_to_be_deleted.osm_id
608           and placex.class = place_to_be_deleted.class
609           and placex.type = place_to_be_deleted.type
610           and not deferred;
611
612    -- Mark for delete in interpolations
613    UPDATE location_property_osmline SET indexed_status = 100 FROM place_to_be_deleted
614     WHERE place_to_be_deleted.osm_type = 'W'
615           and place_to_be_deleted.class = 'place'
616           and place_to_be_deleted.type = 'houses'
617           and location_property_osmline.osm_id = place_to_be_deleted.osm_id
618           and not deferred;
619
620    -- Clear todo list.
621    TRUNCATE TABLE place_to_be_deleted;
622
623    RETURN NULL;
624 END;
625 $$ LANGUAGE plpgsql;