Merge branch 'clean-deleted-relations' of https://github.com/lujoh/Nominatim into lujoh-clean-deleted-relations

Merge pull request #3228 from pawel-wroniszewski/fix/postcode-validation

Properly validate postcodes with country code

made age a required argument for the -clean-deleted command

Revert country settings

added --clean deleted command to the documentation

adjusted tests for --clean-deleted-relations command

moved sql function flush_deleted_places() to utils

Properly validate postcodes with country code

Include postcode pattern in postcode normalisation regex, instead of
removing it from postcode pattern in config.

It properly handles postcode validation and normalization when country code
is part of the postcode, e.g. for Isle of Man, Jersey, Anguilla, Andorra,
Cayman Islands and more.

Fixes #3227.

added subcommand to clean deleted relations for issue # 2444

adapt typing for newer version of mypy

Merge pull request #3222 from lonvia/fix-river-output

Make sure the place name always comes first in output

reduce influence of viewbox

Perfectly matching city names should still get priority.

make sure the place name always comes first in output

Also deleted some now unused code.

Merge pull request #3212 from lonvia/more-tests

Add more unit tests for search

switch back meaning of reverse and search in warm

Also do'n try to warm up searches on reverse-only databases.

Fixes #3213.

more unit tests for search

Merge pull request #3211 from lonvia/replace-get-addressdata

Move get_addressdata() implementation to Python

move get_addressdata() implementation to Python

The pgsql function get_addressdata() does a lookup of a lot of data
that is already available in Python.

Merge pull request #3206 from lonvia/rerank-by-locale

Reintroduce result reranking

adapt tests to improved search

filter duplicate results after DB query

rerank results by query

The algorithm is similar to the PHP reranking and uses the terms from
the display name to check against the query terms. However instead of
exact matching it uses a per-word-edit-distance, so that it is less
strict when it comes to mismatching accents or other one letter
differences.

Country names get a higher penalty because they don't receive a
penalty during token matching right now.

This will work badly with the legacy tokenizer. Given that it is
marked for removal, it is simply not worth optimising for it.

move localization into add_result_details

This means that the locale now needs to be handed in into the search
functions already. At least search needs them for reranking.

Merge pull request #3201 from lonvia/tweak-expected-count

Reduce expected count for multi-part words

'fix' issues with recent changes to psycopg2 typing

Some of the changes just make the warnings go away. The typing info
is still incorrect on the stub side, as far as I can determine.

reduce expected count for multi-part words

Fixes #3196.

add changelog for 4.2.3

prepare release 4.3.0

reenable logging of details calls

restrict deduplication to results from placex

All other sources do not have deduplicatable entries.

add bbox output to lookup results

Fixes #3149.

documentation: fix a broken link, typos

Merge pull request #3190 from lonvia/fix-internal-server-errors

Fix more failing queries

Merge pull request #3189 from lonvia/add-country-area-restriction

Implement NOMINATIM_SEARCH_WITHIN_COUNTRIES for Python frontend

actions: update to checkout v4

restrict range for interpolated housenumbers

Interpolations are only supported up to 2^32 by the database.
Limit to 8 digits, which is still more than should be needed.

avoid interpreting integral numbers as coordinates

There are addresses of type '123 W 345 N, Reigh', where 'W 345 N' is
the actual name of the street.

Merge pull request #3188 from lonvia/update-osm2pgsql

Update osm2pgsql to 1.9.2

update osm2pgsql to 1.9.2

allow lower case OSM types in lookup query

Merge pull request #3186 from lonvia/tablespaces-for-flex

Make tablespace arguments work again for flex tables

implement NOMINATIM_SEARCH_WITHIN_COUNTRIES setting

reenable tablespace arguments for flex tables

add a shutdown handler for falcon server closing DB connections

remove alias where it does not work with lambdas

Fixes #3177.

fix parameter name for layer filter

Merge pull request #3178 from lonvia/library-documentation

Update documentation for new Python frontend

fix typos and grammar issues

rename documentation to 'Nominatim Manual'

adapt installation instruction for different frontends

update API documentation

add deployment documentation for Python frontend

update documentation for configuration

add getting started section for library docs

switch to material theme

Needed for tabbed code blocks.

preliminary library reference finished

more library documentation

finish configuration section

restructure library documentation

initial configuration documentation

docs: documentation of API classes

more adaptions for mkdocstrings griffin plugin

add base framework for library reference

update to modern mkdocstrings python handler

Merge pull request #3174 from lonvia/osm2pgsql-update-fix

Be more precise on what is deleted on updates

be more strict about removal from place_to_be_deleted

If the type of a place is changed and then the same insert issued
again, the old data will effectively remain in the table.

Fixed #3168.

add test case for bad update

Merge pull request #3172 from lonvia/query-timeout

Introduce timeouts for queries

add additional timeout for entire request

use backwards-compatible asyncio timeout implementation

translate query timeouts into proper HTTP responses

Need to use a 503 here because a 408 (Request timeout) will motivate
browsers to immediately resent the request.

add a timeout for DB queries

apply adjusted counts only to final result

Merge pull request #3169 from lonvia/tweak-search-with-frequent-names

Further tweak detection of queries that would return a massive amount of results

allow terms with frequent searches together with viewbox

Merge pull request #3167 from lonvia/explicit-encoding

Send explicit charset in content-type when returning json

Merge pull request #3139 from mtmail/update-search-examples

Search.md - update XML and JSON example output

further tweak search containing very frequent tokens

Excluding non-rare full names is not really possible because it makes
addresses with street names like 'main st' unsearchable. This tries to
leav all names in but refrain from ordering results by accuracy
when too many results are expected. This means that the DB will simply
get the first n results without any particular order.

send charset again in content-type when returning json

There are quite a few applications out there that will use some local
encoding when the charset is not explicitly given.

Merge pull request #3165 from lonvia/update-osm2pgsql

Update osm2pgsql to 1.9.1

vagrant scripts: add missing yaml library

add new required json library for osm2pgsql

update osm2pgsql to 1.9.1

Merge pull request #3159 from lonvia/fix-name-lookup-for-housenames

Fix name lookup for housenames

fix parameter use for ST_Project

Before postgis 3.4 ST_Project required a geography as input and seemed
to have implicitly converted to geography. Since 3.4 geometry input
is supported but leads to a completely different result.

fix tag name for housename addresses in layer selection

Fixes #3156.

Merge pull request #3155 from lonvia/caching-of-transliterators

Cache ICU transliterators between calls

cache ICU transliterators and reuse them

Merge pull request #3150 from alfmarcua/allow_neg_id_details

Allow negative osm_id in details page by setting default parameter to 0

fix regression in default setting for details linkedplaces

prefer name-only searches more

return bbox of full country for country searches

Fixes #3149.

fix application of label to wrong expression

avoid lambda SQL in connection with alias tables

use coalsce() instead of indexless postgis functions

ST_Intersects is deemed too expensive by the query planer which
leads to odd plans when index use is avoided.

do not use index when searching in large areas

This concerns viewboxes as well as radius search.

adapt tests to changes in search

take token_assignment penalty into account

Also computes the expected count differently when addresses are
involved. Address token counts do not bare a direct relation to
real counts.

fix debug output for NearSearch

The search info is in a subsearch and was therefore not taken into
account.

improve penalty for token-split words

The rematch penalty for partial words created by the transliteration
need to take into account that they are rematched against the full word.
That means that missing beginning and end should not get a significant
penalty.