Merge remote-tracking branch 'upstream/master'

Merge pull request #3206 from lonvia/rerank-by-locale

Reintroduce result reranking

adapt tests to improved search

filter duplicate results after DB query

rerank results by query

The algorithm is similar to the PHP reranking and uses the terms from
the display name to check against the query terms. However instead of
exact matching it uses a per-word-edit-distance, so that it is less
strict when it comes to mismatching accents or other one letter
differences.

Country names get a higher penalty because they don't receive a
penalty during token matching right now.

This will work badly with the legacy tokenizer. Given that it is
marked for removal, it is simply not worth optimising for it.

move localization into add_result_details

This means that the locale now needs to be handed in into the search
functions already. At least search needs them for reranking.

Merge remote-tracking branch 'upstream/master'

Merge pull request #3201 from lonvia/tweak-expected-count

Reduce expected count for multi-part words

'fix' issues with recent changes to psycopg2 typing

Some of the changes just make the warnings go away. The typing info
is still incorrect on the stub side, as far as I can determine.

reduce expected count for multi-part words

Fixes #3196.

Merge remote-tracking branch 'upstream/master'

add changelog for 4.2.3

prepare release 4.3.0

reenable logging of details calls

restrict deduplication to results from placex

All other sources do not have deduplicatable entries.

add bbox output to lookup results

Fixes #3149.

Merge remote-tracking branch 'upstream/master'

documentation: fix a broken link, typos

Merge pull request #3190 from lonvia/fix-internal-server-errors

Fix more failing queries

Merge pull request #3189 from lonvia/add-country-area-restriction

Implement NOMINATIM_SEARCH_WITHIN_COUNTRIES for Python frontend

actions: update to checkout v4

restrict range for interpolated housenumbers

Interpolations are only supported up to 2^32 by the database.
Limit to 8 digits, which is still more than should be needed.

avoid interpreting integral numbers as coordinates

There are addresses of type '123 W 345 N, Reigh', where 'W 345 N' is
the actual name of the street.

Merge pull request #3188 from lonvia/update-osm2pgsql

Update osm2pgsql to 1.9.2

update osm2pgsql to 1.9.2

Merge remote-tracking branch 'upstream/master'

allow lower case OSM types in lookup query

Merge pull request #3186 from lonvia/tablespaces-for-flex

Make tablespace arguments work again for flex tables

implement NOMINATIM_SEARCH_WITHIN_COUNTRIES setting

reenable tablespace arguments for flex tables

add a shutdown handler for falcon server closing DB connections

remove alias where it does not work with lambdas

Fixes #3177.

switch to newest osm2pgsql version

fix parameter name for layer filter

Merge pull request #3178 from lonvia/library-documentation

Update documentation for new Python frontend

fix typos and grammar issues

rename documentation to 'Nominatim Manual'

adapt installation instruction for different frontends

update API documentation

add deployment documentation for Python frontend

update documentation for configuration

add getting started section for library docs

revert to osm2pgsql 1.8.1

Merge remote-tracking branch 'upstream/master'

switch to material theme

Needed for tabbed code blocks.

preliminary library reference finished

more library documentation

finish configuration section

restructure library documentation

initial configuration documentation

docs: documentation of API classes

more adaptions for mkdocstrings griffin plugin

add base framework for library reference

update to modern mkdocstrings python handler

Merge pull request #3174 from lonvia/osm2pgsql-update-fix

Be more precise on what is deleted on updates

be more strict about removal from place_to_be_deleted

If the type of a place is changed and then the same insert issued
again, the old data will effectively remain in the table.

Fixed #3168.

add test case for bad update

Merge remote-tracking branch 'upstream/master'

Merge pull request #3172 from lonvia/query-timeout

Introduce timeouts for queries

add additional timeout for entire request

use backwards-compatible asyncio timeout implementation

translate query timeouts into proper HTTP responses

Need to use a 503 here because a 408 (Request timeout) will motivate
browsers to immediately resent the request.

add a timeout for DB queries

apply adjusted counts only to final result

Merge remote-tracking branch 'upstream/master'

Merge pull request #3169 from lonvia/tweak-search-with-frequent-names

Further tweak detection of queries that would return a massive amount of results

allow terms with frequent searches together with viewbox

Merge pull request #3167 from lonvia/explicit-encoding

Send explicit charset in content-type when returning json

Merge pull request #3139 from mtmail/update-search-examples

Search.md - update XML and JSON example output

further tweak search containing very frequent tokens

Excluding non-rare full names is not really possible because it makes
addresses with street names like 'main st' unsearchable. This tries to
leav all names in but refrain from ordering results by accuracy
when too many results are expected. This means that the DB will simply
get the first n results without any particular order.

send charset again in content-type when returning json

There are quite a few applications out there that will use some local
encoding when the charset is not explicitly given.

Merge pull request #3165 from lonvia/update-osm2pgsql

Update osm2pgsql to 1.9.1

vagrant scripts: add missing yaml library

add new required json library for osm2pgsql

update osm2pgsql to 1.9.1

Merge remote-tracking branch 'upstream/master'

Merge pull request #3159 from lonvia/fix-name-lookup-for-housenames

Fix name lookup for housenames

fix parameter use for ST_Project

Before postgis 3.4 ST_Project required a geography as input and seemed
to have implicitly converted to geography. Since 3.4 geometry input
is supported but leads to a completely different result.

fix tag name for housename addresses in layer selection

Fixes #3156.

Merge remote-tracking branch 'upstream/master'

Merge pull request #3155 from lonvia/caching-of-transliterators

Cache ICU transliterators between calls

cache ICU transliterators and reuse them

Merge pull request #3150 from alfmarcua/allow_neg_id_details

Allow negative osm_id in details page by setting default parameter to 0

Merge remote-tracking branch 'upstream/master'

fix regression in default setting for details linkedplaces

prefer name-only searches more

return bbox of full country for country searches

Fixes #3149.

fix application of label to wrong expression

avoid lambda SQL in connection with alias tables

Merge remote-tracking branch 'upstream/master'

use coalsce() instead of indexless postgis functions

ST_Intersects is deemed too expensive by the query planer which
leads to odd plans when index use is avoided.

Merge remote-tracking branch 'upstream/master'

do not use index when searching in large areas

This concerns viewboxes as well as radius search.

adapt tests to changes in search

take token_assignment penalty into account

Also computes the expected count differently when addresses are
involved. Address token counts do not bare a direct relation to
real counts.

fix debug output for NearSearch

The search info is in a subsearch and was therefore not taken into
account.

improve penalty for token-split words

The rematch penalty for partial words created by the transliteration
need to take into account that they are rematched against the full word.
That means that missing beginning and end should not get a significant
penalty.

Allow negative osm_id in details page by setting default parameter to 0

Merge remote-tracking branch 'upstream/master'

fix lookup polygon output

Fixes #3147.