prefilter bad results before adding details and reranking

Move the first cutting of the result list before reranking
by result match. This means that results with significantly
less importance are removed early and independently of the
fact how well they match the original query.

Fixes #3266.

Merge pull request #3331 from lonvia/fix-word-table-rights

Properly grant rights to read-only user when switching out word table

properly grant rights to read-only user when switching out word table

docs: mark layer parameter as python-only

Merge pull request #3328 from lonvia/word-count-into-new-table

Recreate word table when refreshing counts

recreate word table when refreshing counts

The counting touches a large part of the word table, leaving
bloated tables and indexes. Thus recreate the table instead and
swap it in.

Merge remote-tracking branch 'upstream/master'

avoid LookupAny with address and too many name tokens

The index for nameaddress_vector has grown so large that PostgreSQL
will resort to a sequential scan if there are too many items
in the LookupAny list.

Merge remote-tracking branch 'upstream/master'

print any collected debug output when returning a timeout error

Merge pull request #3321 from lonvia/remove-duplicate-partials

Improvements to query parsing

housenumber-only searches cannot be combined with qualifiers

adjust rankings for housenumber-only searches

A normal address search with housenumber will use name rankings for
the street name. This is slightly different than weighing for
address parts. Use the same ranking for the first part of the
address for housenumber-only searches to make sure that penalties
remain comparable.

always add a penalty for name + address search fallback

If there already was a search by full names, the search is likely
a repeatition that yields the same results, only running slower.

disallow category tokens in the middle of a query string

This already worked for left-to-right readings and now is also
implemented for right-to-left reading. A qualifier must always be
before or after the name.

protect against very frequent bad partials

avoid duplicates in the list of partial tokens for a query

This messes with the estimates for expected results.

Merge pull request #3320 from lonvia/fix-timeout-return-code

Fix returned HTTP error when query runs too long

catch special async timeout error in servers

In Python <= 3.10 this is not yet the same as TimeoutError.

Fixes #3303.

Merge remote-tracking branch 'upstream/master'

Merge pull request #3317 from lonvia/postcodes-for-highway-areas

Search postcodes for highway areas around the area

search postcodes for highway areas around the area

So far the code would only accept postcodes that are inside the area.

Fixes #3304.

Merge remote-tracking branch 'upstream/master'

Merge pull request #3301 from lonvia/fix-class-search-regression

Interpret stand-alone special terms always as near term

interpret stand-alone special terms always as near term

Fixes #3298.

Merge remote-tracking branch 'upstream/master'

Merge pull request #3293 from lonvia/rematch-against-country-code

Add country code to words to be rematched

add country code to words to be rematched

Merge remote-tracking branch 'upstream/master'

Merge pull request #3292 from lonvia/faster-country-search

Speed up country search

when a country is in the results, restrict further searches to places

A country search result usually comes with a very high importance.
As a result only other very well known places will show up together
with country results and that means only places with lower address
ranks. Name searches for country names tend to yield a lot of POI
results because the country name is part of the name
(think "embassy of Sweden"). By excluding POIs from further searches,
the search is sped up quite a bit.

dump params in log view

prioritize country searches when penaly is equal

Merge remote-tracking branch 'upstream/master'

Merge pull request #3238 from mtmail/check-database-for-version-match

admin --check-database also checks database vs nominatim version

Merge pull request #3289 from lonvia/viewbox-and-housenumbers

Do not restrict by viewbox when housenumber or postcode is available

Merge pull request #3290 from lonvia/near-vs-quaifier-words

Do not run near queries on qualifier words

Merge pull request #3291 from lonvia/fix-timezone-handling

Fix timezone handling for timestamps from the database

fix timezone handling for timestamps from the database

SQLite is not timezone-aware, so make sure to convert to UTC
before inserting any data.

do not run near queries on qualifier words

There is too much potential for confusion (e.g. 'Rio Grande' read
as 'river near Grande') fir too little gain. Use near phrases
instead.

do not restrict by viewbox when housenumber or postcode is available

Fixes #3274.

check-database also checks database vs nominatim version

Merge remote-tracking branch 'upstream/master'

Merge pull request #3286 from lonvia/avoid-bind-parameters-in-lambdas

Avoid closure variables in lambda statements

avoid closure variables in lambda statements

There is a bug in SQLAlchemy that assigns the wrong value to bind
parameters from closure variables when reusing lambda statements
that are later extended with other non-lambda expressions.

Thus either avoid lambda statements with closure variables or extending
them with non-lambda expressions.

Merge remote-tracking branch 'upstream/master'

use correct SQLAlchemy pool for asynchronous connections

See https://github.com/sqlalchemy/sqlalchemy/issues/8771

API: avoid engine disposal on startup

update typing for latest changes in SQLAlchemy

Merge remote-tracking branch 'upstream/master'

Merge pull request #3273 from lonvia/search-with-sqlite

Add forward search capability for SQLite databases

add minimal documentation for the SQLite usage

error out when a SQLite database does not exist

Requires to mark the databse r/w when it is newly created in the
convert function.

enable search for sqlite conversion by default

enable all BDD API tests for sqlite

enable all API tests for sqlite and port missing features

extend sqlite converter for search tables

remove unused function

improve typing for @compiles constructs

The first parameter is in fact the self parameter referring to
the function class.

void unnecessary aliases

factor out SQL for filtering by location

Also improves on the decision if an indexed is used or not.

simplify handling of SQL lookup code for search_name

Use function classes which can be instantiated directly.

correctly close API objects during testing

clean up ST_DWithin and intersects() functions

A non-index version of ST_DWithin is not necessary. ST_Distance
can be used for that purpose. Index use for intersects can be
covered with a simple parameter.

simplify weigh_search() function

Use JSON arrays which can have mixed types and therefore have
a more logical structure than separate arrays. Avoid JSON dicts
because of their verboseness.

fix parameter formatting in sqlite debug output

enable connection pools for sqlite

Connecting is reasonably expensive because the spatialite extension
needs to be loaded. Disable pooling for tests because there is some
memory leak when quickly opening and closing QueuePools with sqlite
connections.

hide type differences between Postgres and Sqlite in custom types

Also define a custom set of operators in preparation of differences
in implementation.

Merge pull request #3108 from mtmail/remove-legacy-wikipedia-tag-syntax

These days the OSM wikipedia tab no longer contains URLs

Merge pull request #3268 from mtmail/wikipedia-file-path-warning

Improve error message when Wikipedia importance file is not found

Removed unnecessary check for --prepare-database flag

Connect using localhost instead of socket

Added changing permissions of nominatim-project dir

Added osm-import to sudoers file for tokenizer setup

Fixing CI tests for install-no-superuser

Fixed typechecking error

Added missing return types to functions

 CI tests: Removed creation of user www-data.
Removed creation of user www-data as it already exists

Fixed legacy import command
Check whether prepare-database is true, if so exit early

Disabled pylint too-many-branches

Fixed setting tokenizer property

Updated no-superuser install ci test

Added nominatim_database_webuser (www-data).
Set non-superuser password for importing

Updated check to see if osm_file is set

Fixed formatting

Updated ci tests to reflect changes in Nominatim CLI

Made sure legacy import command still works

Removed unused variable, fixed connection

Removed _is_complete_import check

Improved logic.

Fixed small oversight in mutually exclusiveness of arguments

Added new psql user for importing the data

Changed naming of flags.

Made sure legacy import is also still ok

Added check to see if hstore is loaded

Fixed ci-tests, osm-file flag

Preparing database should work without osm-file

Renamed flags

Fixed pylint warnings

Added check for hstore extension

Fixed typo

Fixed linting errors

Added version check for PostGis and Postgres

Updated CI tests to check new import flags