Merge remote-tracking branch 'upstream/master'

only print non-empty search tables

do not lookup by address vector when only few tokens are available

Names of countries and states are exceedingly rare in the word count
but are very frequent in the address. A short name has the danger
of producing too many results.

php: prefer structured over free-form query

This counters some problematic queries where street + housenumber
is put in the q parameter and then city, country etc into
structured parameters.

Merge remote-tracking branch 'upstream/master'

fix regression with lat/lon in json output

lat, lon is returned as strings in the PHP output. Reproduce that in the
Python frontend.

See #3115.

allow OPTIONS method in starlette CORS middleware

If not allowed, then the middleware will return a 400 on pre-flight
CORS requests.

Fixes #3129.

Merge pull request #3122 from miku0/sanitizer-final

Adds sanitizer for Japanese addresses to correspond to block address

Moved KANJI_MAP to icu-rules

Merge remote-tracking branch 'upstream/master'

Merge pull request #3128 from lonvia/fix-classtype-lookup

Fix query over classtype tables

Add the test of reconbine_place

Fixed cosmetic issues

fix query over classtype tables

The case statement prevented the index on the classtype tables
from being used. Move the case statement inside the geometry
function instead.

Merge remote-tracking branch 'upstream/master'

Merge pull request #3127 from lonvia/file-logging

Add file logging for Python frontend

reintroduce file logging for Python frontend

Merge remote-tracking branch 'upstream/master'

add @fail-legacy

Moved KANJI_MAP to global variable

Merge pull request #3125 from lonvia/warm-to-python

Port warm and export functions to Python

older version of Postgres cannot convert jsonb to int

older Python versions need a reference to the loop for a lock

Correction to PR's comment

add tests for new arm and export Python functions

add japanese sanitizer

mostly remove php-cgi requirement

This is now only needed for BDD tests against the php API.

remove now unused run_api_script function

remove now unused run_legacy_script()

port export function to Python

Some of the parameters have been renoved as they don't make sense
anymore.

move warm script to python code

Merge pull request #3121 from lonvia/port-remaining-api-calls

Port remaining API endpoints to Python

add tests for new endpoints

add /polygons endpoint to Python v1 API

add deletable endpoint

remove debug print

Merge pull request #3117 from lonvia/fix-assorted-search-errors

More improvements to the Python search algorithm

disallow special housenumber search with a single frequent partial

do not split names from typed phrases

When phrases are typed, they should only contain exactly one term.

split up get_assignment functon in more readable parts

disallow address searches that start with a postcode

These are postcode searches and nothing else.

block search queries with too many tokens

simplify yield_lookups() function

Move creation of field lookups in separate functions to make the code
more readable.

penalize name token splitting when phrases are used

penalize search with frequent partials

Avoid search against frequent partials if we have already looked for
the full name equivalents.

avoid splitting of first token when a housenumber is present

This only covers the case of <poi name> <street name> <housenumber>
which is exceedingly rare.

increase threshold for full name searches

They still should be preferrred over expensive partial name searches.

fix search for housenumber names

The search still included a lookup of housenumbers in children which is
wrong.

Merge remote-tracking branch 'upstream/master'

Merge pull request #3112 from jenkin/fix-polgyon-polygon-typo

fix polgyon polygon typo

fix polgyon polygon typo

Merge pull request #3110 from lonvia/sql-lambda-queries

Use SQLAlchemy's lambda statements

selected lambdas for search

add lambdas for layer filters

avoid forwarding variables via SQL

make SQL statements in reverse lambda functions

Further improves internal caching of statements by SQLAlchemy.

Merge pull request #3096 from alfmarcua/search-within-countries-parameter

Parameterise the search only within countries

Split lookupInCountry in two functions and document NOMINATIM_SEARCH_WITHIN_COUNTRIES parameter

Parameterise the search only within countries

Merge pull request #3109 from lonvia/prepared-statements

Make prepared statements work with Python API

avoid index-use on rank parameters for reverse lookups

force a fixed pool size and make it configurable

use constant expressions to select partial indexes in reverse

When expressions are generated with SQLAlchemy, any constants are
replaced with bind parameters. The bind parameters become parameters of
prepared statements. The result is that the query planner tends to
oversee that the partial indexes can be used.

remove disabling of prepared statements

Fixes for query planning with prepared statements to follow in
subsequent commits.

Merge pull request #3107 from lonvia/performance-search

Assorted fixes to Python search code

increase minimum required SQLAlchemy version to 1.4.31

make get_addressdata calls cachable

VALUEs() is not a cachable construct in SQLAlchemy, so use arrays
instead. Also add a special case for single results, the usual result
for reverse queries.

add support for postcompile literals in debug output

fix SRID handling in Geometry type

avoid lookup via partials on frequent words

Drops expensive searches via partials on terms like 'rue de'.

See #2979.

add a small penalty to lookups in address vectors

Merge pull request #3101 from lonvia/custom-geometry-type

Improve use of SQLAlchemy statement cache with search queries

make types compatible with older Python versions

remove GeoAlchemy as dependency

always run function update on migrations

This means that we can have migrations which require nothing but
an update of the functions.

fix linting issues

replace regexp_match with generic op() functions

Works around a bug in SQLAlchemy where regexp_match creates an
unstable cache key.

replace CASE construct with plpgsql function

band-aid for SQLAlchemy 1.4

move search to bind parameters

switch reverse() to new Geometry datatype

Also switches to using bind parameters for recurring parameters.

introduce slim Geometry database type

Merge remote-tracking branch 'upstream/master'

Merge pull request #3100 from lonvia/fix-name-merging-in-unnamed-boundaries

Fix merging of linked names into unnamed boundaries

fix merging of linked names into unnamed boundaries

The NULL value of the boundaries' name field was erasing all
content when used in SQL operations.

Merge pull request #3099 from lonvia/determine-place-address-from-tokenizer

Use information from tokenizer to determine street vs. place address

also switch legacy tokenizer to new street/place choice behaviour

fix optional string representation or repr(PlaceName)

use information from tokenizer to determine street vs. place address

So far the SQL logic used the information from the address field
to determine if an address is attached to a street or place.
This changes the logic to use the information provided in the
token_info. This allows sanitizers to enforce a certain parenting
without changing the visible address information.

Merge pull request #3094 from lonvia/fix-failing-bdd-tests

Add BDD tests against Python frontend to CI

Merge pull request #3090 from mtmail/check-database-on-frozen-database

check-database on frozen db shouldnt recommend indexing

add python frontend tests to CI

slightly adapt postcode tests

bdd: fix faking HTTP headers for python web frameworks

Merge branch 'osm-search:master' into check-database-on-frozen-database

move text normalization into extra function

Merge pull request #3093 from lonvia/remove-sanic

Remove support for Sanic

check-database on frozen db shouldnt recommend indexing

use in operator for enum tests

Fixes a complaint by mypy.

remove useless check

Found by new mypy version.