rename use of category as POI search to near_item

Use the term category only as a short-cut for "tuple of key and value".

the category parameter in search should result in a qualifier

Merge pull request #3260 from lonvia/improve-catgeory-search

Various improvements to search with special phrases for Python frontend

drop category tokens when they make up a full phrase

restrict base results in near search by rank

This avoids in particular that roads or POIs are used as base
for the near search when a place result is present.

deduplicate categories/qualifiers

order near searches by distance instead of importance

avoid duplicate lines during category search

fix polygon selection for classtable lookups

Polygons should be used preferably with higher address ranks
where the areas are smaller.

Merge pull request #3257 from lonvia/slow-queries

Performance tweaks for search

increase penalty for one-letter words

more preference for name-only queries in search

avoid index use when filtering by layer

add timestamps to text logging

avoid index on rank_address in near search

exclude country-level searches with non-address layers

Merge pull request #3252 from kumarUjjawal/patch-1

minor typo fix

minor typo fix

fixed a minor typo, from 'wit' to 'with'.

add report on newest vulnerability

improve code to collect the PostGIS version

The SQL contained an unchecked string literal, which may in theory be
used to attack the database.

Merge pull request #3248 from lonvia/fix-postcode-area-computation

PHP frontent: fix postcode area computation for address points

adapt typing to newest version of SQLAlchemy

php frontend: fix on-the-fly lookup of postcode areas

remove now unnecessary type igonre comment

fix assertion on address list, it may be empty

Fixes #3237.

Merge pull request #3235 from lonvia/fix-python-deploy

Python frontend deployment: add systemd service for the socket

python deployment: add systemd service for the socket

Merge pull request #3234 from lonvia/reduce-admin-style

Streamline admin style

Merge pull request #3233 from lonvia/support-for-sqlite

Add support for SQLite DBs in frontend: reverse

further reduce admin style import to admin-only objects

restrict geometry size for SQLite

convert sqlite: add index on parent_place_id

remove type info from SQLALchemy condition functions

A boolean type makes the SQLite dialect produce a costruct like
'func() = 1' in WHERE condition. While syntactically correct, it tends
to confuse the query planer.

make code work with Spatialite 4.3

Transfer is_address_point into SQLAlchemy function, so that
json.has_key() can use the older json_extract() function.
And work around broken Distance function.

enable BDD tests for sqlite databases

The database must currently be created by hand and the name handed
in via -DAPI_TEST_DB='sqlite:...'.

trim all coordinate output to 7 digits

add indexing support for DWithin and intersects for sqlite

make reverse API work with sqlite

actions: enable sqlite testing

try future annotations to resolve Generics compatibility

make status API work with sqlite incl. unit tests

make details API work with sqlite incl. unit tests

make lookup call work with sqlite

Includes porting unit tests.

add exporting of SQLite table

add skeleton code for convert function

streamline SQLAlchemy DB schema

Remove all information not strictly used by the frontend as well as
any index information. This will make it easier to create a SQLite
database from the schema.

remove unused code

Merge branch 'clean-deleted-relations' of https://github.com/lujoh/Nominatim into lujoh-clean-deleted-relations

Merge pull request #3228 from pawel-wroniszewski/fix/postcode-validation

Properly validate postcodes with country code

made age a required argument for the -clean-deleted command

Revert country settings

added --clean deleted command to the documentation

adjusted tests for --clean-deleted-relations command

moved sql function flush_deleted_places() to utils

Properly validate postcodes with country code

Include postcode pattern in postcode normalisation regex, instead of
removing it from postcode pattern in config.

It properly handles postcode validation and normalization when country code
is part of the postcode, e.g. for Isle of Man, Jersey, Anguilla, Andorra,
Cayman Islands and more.

Fixes #3227.

added subcommand to clean deleted relations for issue # 2444

adapt typing for newer version of mypy

Merge pull request #3222 from lonvia/fix-river-output

Make sure the place name always comes first in output

reduce influence of viewbox

Perfectly matching city names should still get priority.

make sure the place name always comes first in output

Also deleted some now unused code.

Merge pull request #3212 from lonvia/more-tests

Add more unit tests for search

switch back meaning of reverse and search in warm

Also do'n try to warm up searches on reverse-only databases.

Fixes #3213.

more unit tests for search

Merge pull request #3211 from lonvia/replace-get-addressdata

Move get_addressdata() implementation to Python

move get_addressdata() implementation to Python

The pgsql function get_addressdata() does a lookup of a lot of data
that is already available in Python.

Merge pull request #3206 from lonvia/rerank-by-locale

Reintroduce result reranking

adapt tests to improved search

filter duplicate results after DB query

rerank results by query

The algorithm is similar to the PHP reranking and uses the terms from
the display name to check against the query terms. However instead of
exact matching it uses a per-word-edit-distance, so that it is less
strict when it comes to mismatching accents or other one letter
differences.

Country names get a higher penalty because they don't receive a
penalty during token matching right now.

This will work badly with the legacy tokenizer. Given that it is
marked for removal, it is simply not worth optimising for it.

move localization into add_result_details

This means that the locale now needs to be handed in into the search
functions already. At least search needs them for reranking.

Merge pull request #3201 from lonvia/tweak-expected-count

Reduce expected count for multi-part words

'fix' issues with recent changes to psycopg2 typing

Some of the changes just make the warnings go away. The typing info
is still incorrect on the stub side, as far as I can determine.

reduce expected count for multi-part words

Fixes #3196.

add changelog for 4.2.3

prepare release 4.3.0

reenable logging of details calls

restrict deduplication to results from placex

All other sources do not have deduplicatable entries.

add bbox output to lookup results

Fixes #3149.

documentation: fix a broken link, typos

Merge pull request #3190 from lonvia/fix-internal-server-errors

Fix more failing queries

Merge pull request #3189 from lonvia/add-country-area-restriction

Implement NOMINATIM_SEARCH_WITHIN_COUNTRIES for Python frontend

actions: update to checkout v4

restrict range for interpolated housenumbers

Interpolations are only supported up to 2^32 by the database.
Limit to 8 digits, which is still more than should be needed.

avoid interpreting integral numbers as coordinates

There are addresses of type '123 W 345 N, Reigh', where 'W 345 N' is
the actual name of the street.

Merge pull request #3188 from lonvia/update-osm2pgsql

Update osm2pgsql to 1.9.2

update osm2pgsql to 1.9.2

allow lower case OSM types in lookup query

Merge pull request #3186 from lonvia/tablespaces-for-flex

Make tablespace arguments work again for flex tables

implement NOMINATIM_SEARCH_WITHIN_COUNTRIES setting

reenable tablespace arguments for flex tables

add a shutdown handler for falcon server closing DB connections

remove alias where it does not work with lambdas

Fixes #3177.

fix parameter name for layer filter

Merge pull request #3178 from lonvia/library-documentation

Update documentation for new Python frontend

fix typos and grammar issues

rename documentation to 'Nominatim Manual'

adapt installation instruction for different frontends

update API documentation

add deployment documentation for Python frontend

update documentation for configuration