Merge pull request #1749 from lonvia/ranking-during-updates

Reset search and address ranks on update

website dependencies: jQuery v2.1 => 3.5, leaflet 1.3 => 1.6

reset address and search ranks on update

With ranks being dynamically changed through linking of places,
it is important to reset the ranks on update, so that changes
of the rank due to changes in linking are correctly taken into
account.

factor out computation of address and search rank

make admin levels 3 and 7 distinct ones in addresses

There really is no need to conflate these two levels as they
are in use in various countries.

Also adds province as a distinct place.

Fixes #1736.

Merge pull request #1745 from lonvia/shuffle-sql-functions

Some more SQL function reorganisation

Merge branch 'deletable-and-polygons-as-json' of https://github.com/mtmail/Nominatim into mtmail-deletable-and-polygons-as-json

Add JSON output for /deletable.php and /polygons.php

move ranks-related functions in separate sql file

Also adds a common function for computing the update radius
around place nodes.

move helper functions from placex_triggers into utils

Also adds documentation for these functions.

Merge pull request #1742 from mtmail/travis-ci-add-os

Travis-Ci configuration: remove -sudo-, add -os-

travis-ci configuration: remove -sudo-, add -os-

Merge pull request #1741 from filimongeorge/patch-1

Updated Import and Update .md file

Merge pull request #1740 from mtmail/setupclass-index-outputfile-not-used

SetupClass.php: remove unused variable

Merge pull request #1739 from lonvia/remove-self-from-geojson

Further tweaks to geocodejson output

Updated Import and Update .md file

SetupClass.php: remove unused variable

remove name from geocodejson when not set

adapt tests to geocodejson format adaptions

further tweaks to geocodejson address output

Removes the place itself from the address details and use
the lowest ranking element in the rank range for the output.

ignore isaddress in details output when it is not present

Merge pull request #1737 from mtmail/expose-isaddress-in-details-json

details JSON: also print isaddress addressline field

details JSON: also print isaddress addressline field

Merge pull request #1734 from krahulreddy/fixed-parselatlon

Added whitespace support for parseLatLon

avoid deletes on search_name in reverse-only mode

Added test cases for whitespaces in LatLon

Added whitespace characters support in LatLon parsing

fix phpcs issues

Merge pull request #1733 from krahulreddy/whitespaces-considered-as-single-space

Support whitespace characters(x09-x0d) as single space

Merge pull request #1732 from lonvia/improve-geocodejson-output

Improve geocodejson output

Support whitespace characters(x09-x0d) as single space

re-add district to geocodejson

update documentation for geocodejson

Address parts should be usable now.

add tests for geocodejson address fields

determine geocodejson address by rank instead of type

Using the address rank to set the address parts catches
a much wider variety of types like 'town' and 'suburb'.
With recent address ranking changes the rank ranges
are relatively reliable.

factor out geocodejson address generation

Unifies the two implementations currently used for search and address.

Merge pull request #1731 from lonvia/remove-polygon-from-docs

docs: remove example with polygon parameter

docs: remove example with polygon parameter

This parameter was undocumented, long deprecated and is gone now.

fix typo

Fixes #1730

fix handling of postcode areas in addresses

The order of preference is now:
1. a post code on the place itself
2. a post code area in the address
3. the computed postcode from the place

Fixes #1723.

adapt tests to new borough ranking

downgrade borough and remove unincorporated area

Merge pull request #1729 from lonvia/fix-details-link-for-boundaries

Fix details link for boundaries

remove polygon=1 (polypoints) feature

also emit place_type in json version of details

rather use new place_type in getAddressNames()

If for a boundary the place_type is defined, handle the address
part like a place node. This is the same behaviour as before
when class/type where patched earlier.

Fix address link for boundaries in details

Removes the special casing for boundaries with a place
type in get_addressdata(). Instead the place type is now
returned as an extra field, so that the caller has to
handle the situation.

This fixes the details link next to the address in the details
view, which previously would go to a place class instead of the
original boundary class.

Merge pull request #1720 from lonvia/better-linking-of-places

Use wikidata tags for improving linking of places with boundaries

Updated TIGER database link in documentation (#1725)

Updated TIGER database link in documentation

adapt API tests to place linkage changes

The missing district is due to a data error for wikidata tags.

use wikidata tag for linking places

Having the same wikidata is a strong indicator that the same place
is meant. There are some assignment errors where the wikidata does
not link to the object itself but to something that mentions the
place. To reduce errors there, prefer same name.

remove linking via admin_centre role

The admin_centre role is for the seat of government which is not
the same as the administrative entity. This is mostly used
correctly these days, so avoid matching by that role.

linking: better name matching for address-less places

Administrative boundaries that do not figure in the address
should still be able to take part in the name matching.
Use the rank_search for comparison in this case.

Merge pull request #1706 from mtmail/warn-if-no-tiger-files-found

print warning if no Tiger files found

Merge pull request #1707 from lonvia/regression-address-in-area

place node address parts must be in lower rank area

place node address parts must be in lower rank area

This fixes a regression where the area of the lower ranking
area was not computed correctly.

Also excludes postcodes areas now as they have their own
hierarchy.

print warning if no Tiger files found

Merge pull request #1705 from lonvia/delete-linkee-from-search-name

Remove linkees from search_name

Remove linkees from search_name

Fixes #722

Merge pull request #1704 from lonvia/centroid-within-geometry

linked centroids must always be within geometry

linked centroids must always be within geometry

When using a linked place as centroid for a boundary, check
first that it is really within the area. If it is outside,
just keep the computed centroid because a centroid outside the
area just causes havok.

Fixes #1352.

Merge pull request #1702 from lonvia/rename-derived-place

Make admin boundaries inherit address rank from place nodes

fix style

better grouping

output linked place into address details

add testing for rank adaption while linking

link against place nodes by place type

If a boundary relation has no label member preferably
link against a place node with the same place type.

Also inherit the rank_address from the place node (only
has an effect when linking via lable member or place type).

move linked place type into linked_place extratags

Using linked_place means that we don't overwrite any
place tags on the boundary. This is important when we
wanto to use the information for linking.

Merge pull request #1698 from lonvia/cleanup-partition-functions

Cleanup partition functions

make all query partition functions stable

remove unused nearfeature types

Also move the remaining nearfeaturecentr type close to the
function that is using it.

simplify getNearestParallelRoadFeature function

The function only ever returns one result of which only the
place_id is used. So simplify it to return a single place_id
only (or NULL if none is found).

Also fix typo in function name.

simplify getNearestRoadFeature function

The function only ever returns one result of which only the
place_id is used. So simplify it to return a single place_id
only (or NULL if none is found). Rename funciton to avoid
conflicts when updating an existing database.

advise against using Postgresql 12 and Postgis 3

See also #1677

revert using stricter uniqueness constraint on place

Multiple objects with the same (osm_type, osm_id, class) may
exist when we hold back deleting an area because it is so
large.

Fixes #1695.

Merge pull request #1693 from lonvia/reorganize-addressline-computation

Reorganize addressline computation

adapt API tests

move address line computation in its own function

Merge pull request #1692 from mtmail/tests-for-HasSetAny

unit tests for ParameterParser::hasSetAny

unit tests for ParameterParser::hasSetAny

Merge pull request #1691 from lonvia/structured-query-via-cmdline

add structured search to command-line query tool

add structured search to command-line query tool

Merge pull request #1690 from lonvia/parenting-large-rank-30-areas

improve parenting for large areas with rank 30

improve parenting for large areas with rank 30

Instead of unconditionally parenting them to a street, the
larger areas get a parent area that contains them. To keep
things computationally light-weight, only use the centroid and
bbox to determine if an area is contained.

Requires renaming of parenting functions because renaming
a parameter of the function causes issues when updating the
function (it requires a manual delete, which I'd like to
avoid).

Merge pull request #1689 from mtmail/travis-postgres-stopped-working

Travis: documentation suggests we need to add postgresql-client package

Travis: documentation suggests we need to add postgresql-client package pre-startup

Merge pull request #1688 from mtmail/snippet-noun-vs-snipped-verb

documentation wording: snipped->snippet

documentation wording: snipped->snippet

make sure that linked places are within a boundary

This is a regression from previous code refactoring.

Fixes #1684.

add bbox whereclause to make postgis 3.0 happy

Normally ST_Covers() should include a bbox index use,
so adding a bbox where clause is not really necessary.
However, the query planner messes up and uses a parallel
index search with a second index instead of exclusively
running on the geometry index, when the bbox part is
missing.

Merge pull request #1678 from lonvia/early-drop

Clean up intermediate tables earlier with --drop

fix duplicate keys in tests

The tests suddenly failed because the unique key constraint
is more strict and does no longer include the type.

clean up intermediate tables earlier with --drop

When --drop is given, we can remove all node geometry information
already after the import with osm2pgsql. Also drop all unnecessary
tables before creating the final indices.

Merge pull request #1675 from lonvia/refresh-connection-while-indexing

Fix a couple of issues with the new Python nominatim script

Merge pull request #1674 from mtmail/testdb-how-to-select-tiger-data

document how to extract subset of TIGER data needed for API tests

Merge pull request #1673 from mtmail/wikidata-wget-incomplete

wikipedia: wget didnt download, skip index generation

psycopg 2.6 is now usable on ubuntu 16

nominatim.py: use async in connect() function

The _async parameter name is only supported since psycopg 2.7.
However, async is a keyword in Python >= 3.7, so using this
gives us a syntax error. Working around this by defining the
parameters in a dict and handing that into the connect function.

nominatim.py: also catch deadlocks on final wait

regularly close connection while indexing

Postgres sooner or later runs out of memory when the connection
is used for too long.