remove county nodes in Canada from addresses

Canada has complete coverage for administrative boundaries on
county level. Removing the county nodes from the addresses avoids error
due to a wide-spread doubling of place nodes for city counties.

Merge pull request #2710 from lonvia/offline-import-mode

Assorted performance improvements for BDD tests

bdd: restrict imports to four languages

This mainly restricts the number of country names that are loaded.

Merge pull request #2709 from lonvia/less-strict-country-assignment

Be more strict with country assignments

bdd: recreate functions on template DB

Avoids calling function refresh on every scenario. The content won't
change between runs.

avoid calling OSM servers during bdd tests

add offline import mode

In offline mode no attempts are made to download data from the internet.
At the moment that only concerns the computation of the database date.
It contacts the main API to get the date.

Merge pull request #2708 from lonvia/use-format-literals

Assorted fixes for new pylint warnings

no longer allow fuzzy assignment of country

The fallback country boundaries already contain a sufficiently large
part of the water area, so there is no need to extend the country
assignment even more. Features outside countries should not show a
country in their address.

fix spacing

Some versions of pylint are oddly picky.

pylint: disable no-self-use check

This checker encourages bad behaviour (namely changing the static
status of a function during inheritence) and will be made optional
in upcoming versions of pylint.

solve assorted issue with newer pylint versions

Includes more use of 'with', adding encodings to open statements
and a couple of issues with parameter renaming.

use context management when processing Tiger data

remove redundant 'u' prefixes for unicode strings

pylint: avoid explicit use of format() function

Use psycopg2 SQL formatters for SQL and formatted string literals
everywhere else.

add a function to return a formatted version

Replaces the various repeated format strings throughout the code.

Merge pull request #2707 from lonvia/make-icu-tokenizer-the-default

Make ICU tokenizer the default

no longer need postgresql-server-dev packages

make legacy tokenizer tests the extra on CI

Merge pull request #2704 from mtmail/migrate-phpunit-xml-schema

PHPUnit 9 changed configuration schema slightly

always state encoding when opening files in text mode

Also applies to Path.write_text().

PHPUnit 9 changed configuration schema slightly

switch tests to ICU tokenizer as default

add migration hint for the new tokenizer default

make ICU the default tokenizer

Merge pull request #2702 from lonvia/move-country-names-into-includes

Clean up country name settings

Merge pull request #2695 from mtmail/git-commit-hash-to-version

add git commit hash to 'nominatim --version' output

add git commit hash to --version output

support arbitrary prefixes in country name list

This means we can now get rid of the last special cases for names.

move country names into separate include files

Merge pull request #2696 from mtmail/norminatyn-typos

fix typos of name Nominatim

fix typos of name Nominatim

Merge pull request #2693 from mtmail/nominatim-cli-version

new "nominatim --version" global CLI argument

new nominatim --version CLI argument

Merge pull request #2681 from lonvia/improve-geocodejson

Fix 'type' field in the geocodejson response

Merge pull request #2687 from lonvia/check-for-wikipedia

Add check for presence of wikipedia importance

explicit cast for osm_type parameter in SQL needed

Otherwise PostgreSQL won't correctly pick up the index
condition.

respect exclude_place_ids for housenumber search

Merge pull request #2689 from lonvia/relations-in-associated-street

Accept any OSM type in street member of associatedStreet

accept any OSM type in street member of associatedStreet

This is needed for pedestrian areas mapped as multipolygons
and consequently as relations. The lookup in placex guarantees
that the referenced OSM object is indeed a street.

Fixes #2669.

Merge pull request #2686 from mtmail/ubuntu20-php-fpm-version

Install-on-Ubuntu-20.sh - correct php version

skip wikipedia table test on reverse-only installations

Wikipedia importances are not imported on reverse-only imports.

Install-on-Ubuntu-20.sh - correct php-fpm version

Merge pull request #2685 from lonvia/show-inherited-housenumber

Keep address parts inherited from surrounding buildings after indexing

add check for wikipedia importance data

Adds a new check level WARNING because missing wikipedia importances
are not necessarily an error. If the database is run for reverse
requests only, then it is fine to go without them.

Merge pull request #2684 from lonvia/translit-keep-spacing-marks

ICU: better letter identification in normalization

keep inherited address parts after indexing

The inherited housenumber is needed for display output. We can't
take the one from the housenumber field because it is already
normalized. Remove the inherited address only when reindexing.

Fixes #2683.

ICU: better letter identification in normalization

The Letter class does not include non-spacing marks that can also
have a consonant or vowel meaning, especially in Indian languages.
Use the alnum propoerty instead which includes them all. Also
include the vowel-canceling Virama, which is not a letter by itself
but changes the transliteration.

mention the breaking API change in the migratioin docs

adapt docs to geocodejson changes

geocodejson: add osm_key and osm_value fields

Return OSM main tag information in geocodejson. This is not part
of the official spec but can be useful to get more detailed information
of the object type. Brings the Nominatim output closer to what
Photon produces.

geocodejson: type should contain the general feature class

'type' so far contained the value of the OSM tag. That is rarely
helpful because it is not a restricted class of values. Change
this to contain the types as defined in the geocodejson spec,
which correspond to the address layer names.

Merge pull request #2678 from lonvia/address-part-order

Change selection of primary address part for ways that cross boundaries

further tweaking of address distance

For point features, keep using the distance to centroid.
For area features, add a tie breaker for the case where the
center point falls on the boundary.

change distance computation between place and address part

Instead of computing the distance to the centroid of the area
compute the distance of the area to the centroid of the feature.
This means we give preference to the area that covers the centroid.
It's still a heuristics but one that is a bit less random.

Merge pull request #2666 from lonvia/admin-command-for-forced-indexing

Admin command for forced indexing

add documentation for new refresh command

add tests for new data invalidation functions

add new commands for forced invalidation before indexing

recommend PostgreSQL 13+

See https://github.com/osm-search/Nominatim/discussions/2659.

docs: different default for format on osm.org

Add a note that the format parameter is needed for
nominatim.openstreetmap.org for historical reasons.

Merge pull request #2660 from lonvia/pyosmium-contextmanager

Support using ReplicationServer as contextmanager

support new ReplicationServer as contextmanager

Merge pull request #2466 from I70l0teN4ik/state-code

add ISO3166-2-lvl<admin_level> field to response address details

fix bdd tests and docs

use ISO3166-2-lvl<admin_level> instead of typeLabel prefix

proper instruction to import data

Fix API docs and Vagrant instructions to import data

Fix API docs and Vagrant instructions to import data

Change the key to `<addresspart_type>-ISO3166-2` to support xml response correctly

add `<addresspart_type>:ISO3166-2` field to response address details

add `state_code` field to response address details

Merge pull request #2629 from tareqpi/country-names-yaml-configuration

Move default country names into yaml configuration

fix linting error

remove the conversion to json for name

'read_config' is no longer a fixture

add 'read_config' to test cases that need it

test for loading special characters from country_settings.yaml

fix reset country info before loading custom data

custom country config loads correctly

Merge pull request #2655 from lonvia/migration-internal-country-name

Add migration for new country name handling in ICU tokenizer

add test for new table_has_column function

add migration to mark internal country names

separate unit test function into three functions

remove temporary file

Merge pull request #2650 from mtmail/update-lookup-examples

documentation: update example output of lookup endpoint

documentation: update example output of lookup endpoint

fix edge case handling when 'names' is not there

Added unit tests for loading country info from yaml file

fix linting error

fix storing of escape sequences in database

clean up

merge of insert query + modularity enhancements

Merge pull request #2641 from lonvia/reinit-tokenizer-dir

Transparantly reinitialize tokenizer directory when necessary

reinit the tokenizer directory on website refresh

This means the project directory is usable again, once refresh --website
was run.

docs: copying project dir no longer necessary

restore the tokenizer directory when missing

Automatically repopulate the tokenizer/ directory with the PHP stub
and the postgresql module, when the directory is missing. This allows
to switch working directories and in particular run the service
from a different maschine then where it was installed.
Users still need to make sure that .env files are set up correctly
or they will shoot themselves in the foot.

See #2515.

cache loaded configuration

Reading the YAML files is fairly expensive and slows down the BDD tests
significantly. Therefore cache the results from reading the file.

Merge pull request #2639 from lonvia/remove-operator

No longer use operator tag as a name

fix linting error

remove special case for operator names

The OSM data has been sufficiently cleaned up by now that
the operator no longer needs to be considered a name tag.
Use 'brand' as the searchable alternative.