add check for wikipedia importance data

Adds a new check level WARNING because missing wikipedia importances
are not necessarily an error. If the database is run for reverse
requests only, then it is fine to go without them.

Merge pull request #2684 from lonvia/translit-keep-spacing-marks

ICU: better letter identification in normalization

ICU: better letter identification in normalization

The Letter class does not include non-spacing marks that can also
have a consonant or vowel meaning, especially in Indian languages.
Use the alnum propoerty instead which includes them all. Also
include the vowel-canceling Virama, which is not a letter by itself
but changes the transliteration.

Merge pull request #2678 from lonvia/address-part-order

Change selection of primary address part for ways that cross boundaries

further tweaking of address distance

For point features, keep using the distance to centroid.
For area features, add a tie breaker for the case where the
center point falls on the boundary.

change distance computation between place and address part

Instead of computing the distance to the centroid of the area
compute the distance of the area to the centroid of the feature.
This means we give preference to the area that covers the centroid.
It's still a heuristics but one that is a bit less random.

Merge pull request #2666 from lonvia/admin-command-for-forced-indexing

Admin command for forced indexing

add documentation for new refresh command

add tests for new data invalidation functions

add new commands for forced invalidation before indexing

recommend PostgreSQL 13+

See https://github.com/osm-search/Nominatim/discussions/2659.

docs: different default for format on osm.org

Add a note that the format parameter is needed for
nominatim.openstreetmap.org for historical reasons.

Merge pull request #2660 from lonvia/pyosmium-contextmanager

Support using ReplicationServer as contextmanager

support new ReplicationServer as contextmanager

Merge pull request #2466 from I70l0teN4ik/state-code

add ISO3166-2-lvl<admin_level> field to response address details

fix bdd tests and docs

use ISO3166-2-lvl<admin_level> instead of typeLabel prefix

proper instruction to import data

Fix API docs and Vagrant instructions to import data

Fix API docs and Vagrant instructions to import data

Change the key to `<addresspart_type>-ISO3166-2` to support xml response correctly

add `<addresspart_type>:ISO3166-2` field to response address details

add `state_code` field to response address details

Merge pull request #2629 from tareqpi/country-names-yaml-configuration

Move default country names into yaml configuration

fix linting error

remove the conversion to json for name

'read_config' is no longer a fixture

add 'read_config' to test cases that need it

test for loading special characters from country_settings.yaml

fix reset country info before loading custom data

custom country config loads correctly

Merge pull request #2655 from lonvia/migration-internal-country-name

Add migration for new country name handling in ICU tokenizer

add test for new table_has_column function

add migration to mark internal country names

separate unit test function into three functions

remove temporary file

Merge pull request #2650 from mtmail/update-lookup-examples

documentation: update example output of lookup endpoint

documentation: update example output of lookup endpoint

fix edge case handling when 'names' is not there

Added unit tests for loading country info from yaml file

fix linting error

fix storing of escape sequences in database

clean up

merge of insert query + modularity enhancements

Merge pull request #2641 from lonvia/reinit-tokenizer-dir

Transparantly reinitialize tokenizer directory when necessary

reinit the tokenizer directory on website refresh

This means the project directory is usable again, once refresh --website
was run.

docs: copying project dir no longer necessary

restore the tokenizer directory when missing

Automatically repopulate the tokenizer/ directory with the PHP stub
and the postgresql module, when the directory is missing. This allows
to switch working directories and in particular run the service
from a different maschine then where it was installed.
Users still need to make sure that .env files are set up correctly
or they will shoot themselves in the foot.

See #2515.

cache loaded configuration

Reading the YAML files is fairly expensive and slows down the BDD tests
significantly. Therefore cache the results from reading the file.

Merge pull request #2639 from lonvia/remove-operator

No longer use operator tag as a name

fix linting error

remove special case for operator names

The OSM data has been sufficiently cleaned up by now that
the operator no longer needs to be considered a name tag.
Use 'brand' as the searchable alternative.

modify logic of _include_key function

adding prefix to keys is now more configurable

Revert the removal of new line at the end of the file

modify logic to prepend 'name:' to keys'

reattach 'name:' prefix to keys

initialize an empty dictionary for nested name key

remove duplicate values

fix comment

Merge branch 'master' into country-names-yaml-configuration

Reformatting of country keys

Merge pull request #2637 from lonvia/keep-linked-place-names

Introduce separation of names from linked places

adapt ParameterParser tests to new key list

fix linting

merge linked names correctly into namedetails

Convert the '_place_*' entries back to normal entries before
returning them in the 'namedetails' section. If the name field is
duplicated, kept the '_place_*' notation. This preserves the previous
behaviour before _place_ names were introduces but adds the additional
names from the linked place for reference.

make sure outputs take into account linked place names

fix return code for PHP exceptions

These have returned a 0 until now.

save differing linked polace names in extra fields

This keeps the names tracable and ensures that all names are searchable
when they differ. Do not keep names when they are exactly the same
to save some space. Linked names are cleaned out before relinking.

Merge pull request #2633 from lonvia/fix-reverse-single-interpolation-point

Correctly handle single-point interpolations in reverse

use https protocol for cloning from github

Does not need authentication.

correctly handle single-point interpolations in reverse

Lookup in location_property_osmline needs to be special cased
for startnumber = endnumber. Also adds tests for the case.

Fixes #2680.

fix linting error

Merge pull request #2632 from nslxndr/fix-log-typo

Fix typo in log message on replication initialisation

Fix typo in log message on replication initialisation

reintroduce 'name:' prefix to country name keys

Remove country.sql from CMakeLists.txt

modify data import logic to load country names from yaml

move default country names into yaml configuration

Merge pull request #2627 from mtmail/location-of-osm2pgsql

documentation: clarify osm2pgsql isnt in project directory by default

documentation: clarify osm2pgsql isnt in project directory by default

Merge pull request #2621 from lonvia/housenumber-analyzer

Introduce optional token analysis for housenumbers

do not expand records in select list

An expression of the form 'SELECT (func()).*' will be expanded
by Postgresql _before_ execution with the result that the function
will be called as many times as there are fields in the record.
This is not what we want. The function call needs to go into
the FROM clause instead.

fix linting issue

add tests for new analyzed housenumbers

adapt housenumber cleanup to new word table structure

bdd: disable some housenumber tests for legacy

Optional spaces in housenumbers are not supported by legacy tokenizer,
so disable those tests.

add documentation for housenumber analyzer

housenumber analyzer: avoid creating too many variants

Housenumber fields with lots of text are likely bad data. So is
data with many changes from letter to digit. Exclude them from adding
optional spaces.

add new analyser for houenumbers

This analyser makes spaces optional.

add framework for analysing housenumbers

This lays the groundwork for adding variants for housenumbers.
When analysis is enabled, then the 'word' field in the word table
is used as usual, so that variants can be created. There will be
only one analyser allowed which must have the fixed name
'@housenumber'.

icu: move token deduplication into TokenInfo

Puts collection into one common place.

icu: move housenumber token computation out of TokenInfo

This was the last function to use the cache. There is a more clean
separation of responsibility now.

handle unknown analyzer

When changing something in the default configuration of the sanatizers
that refers to an analyzer that is not yet loaded, there shouldn't be
any errors.

move generation of normalized token form to analyzer

This gives the analyzer more flexibility in choosing the normalized
form. In particular, an analyzer creating different variants can choose
the variant that will be used as the canonical form.

Merge pull request #2614 from lonvia/reorganise-country-names

Reorganise handling of country names imported from OSM

add migration to add new derived_names column

add tests for country updates

bdd: run full import on tests

This uncovered a couple of outdated/wrong tests which have been
fixed, too.

country_name: use separate columns for names from OSM

This allows us to distinguish between base names and imported ones
and consiquently removing imported ones if necessary.

delete unused country name tokens