penalize search with frequent partials

Avoid search against frequent partials if we have already looked for
the full name equivalents.

avoid splitting of first token when a housenumber is present

This only covers the case of <poi name> <street name> <housenumber>
which is exceedingly rare.

increase threshold for full name searches

They still should be preferrred over expensive partial name searches.

fix search for housenumber names

The search still included a lookup of housenumbers in children which is
wrong.

Merge pull request #3110 from lonvia/sql-lambda-queries

Use SQLAlchemy's lambda statements

selected lambdas for search

add lambdas for layer filters

avoid forwarding variables via SQL

make SQL statements in reverse lambda functions

Further improves internal caching of statements by SQLAlchemy.

Merge pull request #3096 from alfmarcua/search-within-countries-parameter

Parameterise the search only within countries

Split lookupInCountry in two functions and document NOMINATIM_SEARCH_WITHIN_COUNTRIES parameter

Parameterise the search only within countries

Merge pull request #3109 from lonvia/prepared-statements

Make prepared statements work with Python API

avoid index-use on rank parameters for reverse lookups

force a fixed pool size and make it configurable

use constant expressions to select partial indexes in reverse

When expressions are generated with SQLAlchemy, any constants are
replaced with bind parameters. The bind parameters become parameters of
prepared statements. The result is that the query planner tends to
oversee that the partial indexes can be used.

remove disabling of prepared statements

Fixes for query planning with prepared statements to follow in
subsequent commits.

Merge pull request #3107 from lonvia/performance-search

Assorted fixes to Python search code

increase minimum required SQLAlchemy version to 1.4.31

make get_addressdata calls cachable

VALUEs() is not a cachable construct in SQLAlchemy, so use arrays
instead. Also add a special case for single results, the usual result
for reverse queries.

add support for postcompile literals in debug output

fix SRID handling in Geometry type

avoid lookup via partials on frequent words

Drops expensive searches via partials on terms like 'rue de'.

See #2979.

add a small penalty to lookups in address vectors

Merge pull request #3101 from lonvia/custom-geometry-type

Improve use of SQLAlchemy statement cache with search queries

make types compatible with older Python versions

remove GeoAlchemy as dependency

always run function update on migrations

This means that we can have migrations which require nothing but
an update of the functions.

fix linting issues

replace regexp_match with generic op() functions

Works around a bug in SQLAlchemy where regexp_match creates an
unstable cache key.

replace CASE construct with plpgsql function

band-aid for SQLAlchemy 1.4

move search to bind parameters

switch reverse() to new Geometry datatype

Also switches to using bind parameters for recurring parameters.

introduce slim Geometry database type

Merge pull request #3100 from lonvia/fix-name-merging-in-unnamed-boundaries

Fix merging of linked names into unnamed boundaries

fix merging of linked names into unnamed boundaries

The NULL value of the boundaries' name field was erasing all
content when used in SQL operations.

Merge pull request #3099 from lonvia/determine-place-address-from-tokenizer

Use information from tokenizer to determine street vs. place address

also switch legacy tokenizer to new street/place choice behaviour

fix optional string representation or repr(PlaceName)

use information from tokenizer to determine street vs. place address

So far the SQL logic used the information from the address field
to determine if an address is attached to a street or place.
This changes the logic to use the information provided in the
token_info. This allows sanitizers to enforce a certain parenting
without changing the visible address information.

Merge pull request #3094 from lonvia/fix-failing-bdd-tests

Add BDD tests against Python frontend to CI

Merge pull request #3090 from mtmail/check-database-on-frozen-database

check-database on frozen db shouldnt recommend indexing

add python frontend tests to CI

slightly adapt postcode tests

bdd: fix faking HTTP headers for python web frameworks

Merge branch 'osm-search:master' into check-database-on-frozen-database

move text normalization into extra function

Merge pull request #3093 from lonvia/remove-sanic

Remove support for Sanic

check-database on frozen db shouldnt recommend indexing

use in operator for enum tests

Fixes a complaint by mypy.

remove useless check

Found by new mypy version.

remove support for sanic framework

There is no performance gain over falcon or starlette but the special
structure of sanic makes it hard to have exchangable code

update project information for taginfo.json

Merge pull request #3045 from biswajit-k/taginfo

Add script to generate taginfo project description

Merge pull request #3091 from lonvia/fix-postcode-search

Assorted smaller fixes for Python-based search code

avoid fallback country lookup when places are excluded

allow empty parts in excluded_place_id

This worked before.

fix header name for browser languages

tweak postcode search

Give a preference to left-right reading, i.e <postcode>,<address>
prefers a postcode search while <address>,<postcode> rather does
an address search.

Also exclude non-addressables, countries and state from results when a
postcode is contained in the query.

use string representation when dumping variables

fix debug output for searches

Fields have been renamed.

Merge pull request #3086 from lonvia/close-connection-on-replication

Close database connections while waiting for the next update cycle

Merge pull request #3087 from lonvia/conditional-spgist

Disable SPGist for PostgreSQL < 11

Merge pull request #3085 from lonvia/allow-brackets-in-password

Do not fail php script generation when curly braces are present

no longer recommend continuous update mode

close DB connection when waiting for next update cycle

do not fail php script generation when curly braces are present

Fixes #3084.

Add custom config to information required for bug reports

disable SPGist for PostgreSQL < 11

Before that version, an operator needed to be given.

add instructions for switching to user for install scripts

Fixes #3057.

remove Ubuntu 18 installation from TOC

Fixes #3072.

Merge pull request #3073 from mtmail/vagrantfile-remove-ubuntu-18

Vagrantfile - remove Ubuntu 18

Vagrantfile - remove Ubuntu 18

Merge pull request #3067 from lonvia/python-search-api

Python implementation of Search API

make code backwards-compatible with older Python versions

remove tests for old PHP cli commands

fix new linting warning

fix various failing BDD tests

add support for search by houenumber

ignore name rankings without variants

properly close connections when shutting down starlette

fix geocodejson address assignment

The categories should be assigned the address part with the
highest address rank not lowest.

add server fronting for search endpoint

This also implements some of the quirks of free-text search of the
V1 API, in particular, search for categories and coordinates.

add timestamps to HTML debug output

mingle names from linked places into results

switch CLI search command to python implementation

make localisation of results explicit

Localisation was previously done as part of the formatting but might
also be useful on its own when working with the results directly.

add API functions for search functions

Search is now split into three functions: for free-text search,
for structured search and for search by category. Note that the
free-text search does not have as many hidden features like
coordinate search. Use the search parameters for that.

implement actual database searches

implement search builder

implement token assignment

add query analyser for legacy tokenizer

add factory for query analyzer

query analyzer for ICU tokenizer

add ci-test for taginfo file generation

add data structure for tokenized query

docs: add installation instruction for dkjson package

Add script to generate taginfo project description

Merge pull request #3064 from lonvia/clicmd-debug-output

Enable debug output on command line