icu tokenizer: switch to matching against partial names

When matching address parts from addr:* tags against place names,
the address names where so far converted to full names and compared
those to the place names. This can become problematic with the new
ICU tokenizer once we introduce creation of different variants
depending on the place name context. It wouldn't be clear which
variant to produce to get a match, so we would have to create all of
them. To work around this issue, switch to using the partial terms
for matching. This introduces a larger fuzziness between matches but
that shouldn't be a problem because matching is always geographically
restricted.

The search terms created for address parts have a different problem:
they are already created before we even know if they are going to be
used. This can lead to spurious entries in the word table, which slows
down searching. This problem can also be circumvented by using only
partial terms for the search terms. In terms of searching that means
that the address terms would not get the full-word boost, but given
that the case where an address part does not exist as an OSM object
should be the exception, this is likely acceptable.

adapt documentation for SQL tokenizer interface

move name matching into tokenizer module

Instead of requesting the match tokens from the tokenizer
when looking for parent streets/places and address parts,
hand in the saved tokens and ask if they match. This gives
the tokenizer more freedom to decide how name matching
should be done.

slightly increase radius to look for postcodes

Merge pull request #2449 from lonvia/address-ranking-spain

Adjust address ranks for Spain

adjust address ranks for Spain

Adjusts levels for boundaries according to the list on
https://wiki.openstreetmap.org/wiki/Tag:boundary%3Dadministrative

* no admin_level 5, so drop that from addresses
* admin_level 6 has the province
* admin_level 7 has the county when it exists

Also reranks place=province so that it matches up with
admin_level 6 and introduces place=civil_parish which
is used as a place node for some admin_level=9 boundaries
in Galicia.

Merge pull request #2447 from lonvia/fix-dynamic-address-assignment

Fix dynamic assignment of address parts

CI: install locale for CentOS

Remove the installation warning

Installation has become a lot easier.

fix dynamic assignment of address parts

A boolean check for dynamic changes of address parts is not
sufficient. The order of choice should be:

 1. an addr:* part matches the name
 2. the address part surrounds the object
 3. the address part was declared as isaddress

The implementation uses a slightly different ordering
to avoid geometry checks unless strictly necessary (isaddress
is false and no matching address).

See #2446.

Merge pull request #2440 from lonvia/generic-config-loader

Add generic loader for YAML configuration files

fix indent

use yaml config loader for country info

add tests for generic YAML config reader

introduce generic YAML config loader

Adds a function to the Configuration class to load a YAML
file. This means that searching for the file is generalised
and works the same now for all configuration files. Changes
the search logic, so that it is always possible to have a
custom version of the configuration file in the project
directory.

Move ICU tokenizer to use new load function.

Merge pull request #2437 from lonvia/tweak-ranking-searches

Some more tweaks for search interpretation

Merge pull request #2436 from lonvia/country-configuration

Move configuration of default languages into a configuration file

reduce penalty for special searches by name

Additional penalty for special terms with operator None
should only go to near searches. To reduce the number
of produced searches, restrict the none operator to
appear only in conjunction with the name.

further increase penalty on housenumbers without numbers

Make the penality dependent on the length of the token:
no penalty for one letter house numbers and increasing one
for more letters.

remove language and partition from name import

read partition and languages from config file

move country name generation to country_info module

move generation of country tables in own module

add country configuration

The new configuration saves the default language(s) originally
maintained in the OSM wiki as well as the partition information.

Merge pull request #2435 from lonvia/simplified-to-traditional-chinese

icu: normalise simplified to traditional chinese

icu: normalise simplified to traditional chinese

The conversion is unambigious in most cases, so that the
information loss is minimal.

Merge pull request #2434 from lonvia/vagrant-scripts-in-actions

Test installation instructions via CI

CI: use packaged source also for test runs

CI: unify jobs for different vagrant scripts

add workflow for centos 8

CI: use vagrant scripts for import tests

Use vanilla docker images of Ubuntu and leave the setup
to the vagrant scripts. Then do the usual import tests.

Also fixes a couple of issues found with the scripts

Merge pull request #2432 from Mastercuber/patch-1

Added postcode

Added postcode

Added postcode to the list of addressdetails

Add link to fixthemap to issue template

Merge pull request #2429 from lonvia/place-name-to-admin-boundary

Indexing: move linking of places to the preparation stage

move linking of places to the preparation stage

Linked places may bring in extra names. These names need to be
processed by the tokenizer. That means that the linking needs
to be done before the data is handed to the tokenizer. Move finding
the linked place into the preparation stage and update the name
fields. Everything else is still done in the indexing stage.

Merge pull request #2428 from lonvia/rename-icu-tokenizer

Rename legacy_icu tokenizer to icu tokenizer

adapt CI workflow to new tokenizer name

rename legacy_icu tokenizer to icu tokenizer

The new icu tokenizer is now no longer compatible with the old
legacy tokenizer in terms of data structures. Therefore there
is also no longer a need to refer to the legacy tokenizer in the
name.

Merge pull request #2427 from lonvia/remove-us-states-special-casing

Move US state hack into legacy tokenizer

move special hack for US states to legacy tokenizer

The hack for IL, AL and LA is only needed because these abbreviations
are removed by the legacy tokenizer as a stop word. There is no need
to keep the hack for future tokenizers. Move it therefore to the
token extraction function.

add tests for US state hacks

IL, AS and LA are replaced with the US state in Geocode because
the old tokenizer would simply remove the abbreviations otherwise.

Merge pull request #2425 from lonvia/tokenizer-documentation

Introduce official Tokenizer API

add mkdocstrings requirement for building docs

mkdocstrings also needs access to the Python sources, so set
a PYTHONPATH accordingly. This makes running mkdocs directly
a bit awkward, therefore add a `make serve-doc` target.

docs: extend explanation of query phrase

add documentation for PHP part of tokenizer

php: make word list a first-class object

This separates the logic of creating word sets from the Phrase
class. A tokenizer may now derived the word sets any way they
like. The SimpleWordList class provides a standard implementation
for splitting phrases on spaces.

remove country restriction from tokenizer

Restricting tokens due to the search context is better done in
the generic search part instead of repeating the same test in
every tokenizer implementation.

document tokenizer SQL interface

define formal public Python interface for tokenizer

This introduces an abstract class for the Tokenizer/Analyzer
for documentation purposes.

docs: querying and tokenizers

docs: add developer doc page for Tokenizer

Merge pull request #2424 from lonvia/multi-country-import

Update instructions for importing multiple regions

Merge pull request #2423 from hummeltech/patch-1

Fix old paths for `phpcs` when using `make test`

ignore words without id for status

split up large setup function

port multi-region update scripts to nominatim tool

Also updates the documentation. For the simple case of just
importing multiple regions, provide simplified instructions
that use the new multi-file import feature.

Fixes #2365.

update osm2pgsql to 1.5.1

allow multiple files for the import command

The files are forwarded to osm2pgsql which is now able to merge
them correctly.

Fix old paths for `phpcs` when using `make test`

These paths no longer exist since db3ced17bbfff00411f506d8c84419c875959d5e, they are now all located under `lib-php`

Merge pull request #2413 from osm-search/helm-chart

Installation docs - link to Kubernetes install project

Installation docs - link to Kubernetes install project

As reported by @robjuz in https://github.com/osm-search/Nominatim/discussions/2412

Merge pull request #2408 from lonvia/icu-change-word-table-layout

Change table layout of word table for ICU tokenizer

php: force use of global Exception class

fix Python linitin errors

fix linitin issues in PHP

reinstate word column in icu word table

Postgresql is very bad at creating statistics for jsonb
columns. The result is that the query planer tends to
use JIT for queries with a where over 'info' even when
there is an index.

bdd tests: do not query word table directly

The BDD tests cannot make assumptions about the structure of the
word table anymore because it depends on the tokenizer. Use more
abstract descriptions instead that ask for specific kinds of
tokens.

adapt unit test for new word table

Requires a second wrapper class for the word table with the new
layout. This class is interface-compatible, so that later when
the ICU tokenizer becomes the default, all tests that depend on
behaviour of the default tokenizer can be switched to the other
wrapper.

convert word info column to json before copying

adapt special terms lookup to new word table

switch word tokens to new word table layout

switch special phrases to new word table format

switch postcode tokens to new word table layout

switch housenumber tokens to new word table layout

switch country name tokens to new word table layout

new word table layout for icu tokenizer

The table now directly reflects the different token types.
Extra information is saved in a json structure that may be
dynamically extended in the future without affecting the
table layout.

fix typos in tokenizer docs

Merge pull request #2401 from lonvia/port-add-data-to-python

Port add-data functions from PHP to Python

adapt cli tests to Python port for add-data

remove unused update script

replace add-data function with native Python code

move add-data subcommand into a separate file

fix parameters for TokenWord creation

Merge pull request #2397 from lonvia/increase-minimum-required-versions

Increase minimum required PostgreSQL version to 9.5

remove special code for pre9.5 postgresql

9.5 is now the minimum requirement.

increase minimum version for PostgreSQL to 9.5

This is the minimum version we can test with the CI.
With 9.5 there is also complete support for jsonb available.

require Python 3.6 also in CMakeFile

This had been forgotten when increasing the minimum Python version.

Merge pull request #2396 from lonvia/partial-word-token

Reorganise code that build the SearchDescription

make all Token menbers private

merge marking rare name with adding name token

Only name tokens can be rare, so this should be the same
function.

add documentation for public interface of SearchDescription

factor out check if a token fits current search

Saves allocating an empty array.

move SearchDescription building into tokens

Moving the logic for extending the SearchDescription into the
token classes splits up the code and makes it more readable.
More importantly: it allows tokenizer to define custom token
classes in the future.

remove Token from explicit input for SearchDescription extension

The token string is only required by the PartialToken type, so
it can simply save the token string internally. No need to pass
it to every type.

Also moves the check for multi-word partials to the token loader
code in the tokenizer. Multi-word partials can only happen with
the legacy tokenizer and when the database was loaded with an
older version of Nominatim. No need to keep the check for
everybody.

factor out query position

Moves token and phrase position and phrase type into a separate
class that is handed in when assembling the search description.
This drastically reduces the number of parameters for the function
to extend the search descriptions and gives us more flexibility
in the future for more complex positional analysis.

remove special status of partial tokens

Full-word tokens are no longer marked by a space at the
beginning of the token. Use the new Partial token category
instead. This removes a couple of special casing, we don't
really need.

The word table still has the space for compatibility reasons,
so the tokenizer code needs to get rid of it when loading the
tokens.

introduce a separate token type for partials

This means that the leading space can be removed as a partial
word indicator.

Merge pull request #2393 from lonvia/fix-flake8-issues

Fix flake8 issues

use psycopg's SQL quoting where possible

Use the SQL formatting supplied with psycopg whenever the
query needs to be put together from snippets.