make word recount a tokenizer-specific function

Merge pull request #2471 from lonvia/update-install-rules

Reorganise, update and extend documentation

docs: fix more links

docs: refer to our new Settings chapter in the import instruchtions

check and fix all liks in documentation

add extended documentation of settings

docs: update overview pages

docs: move place ranking into customization part

docs: nominatim-ui has a new place for custom config

docs: move import style description to customize section

docs: make customization chapter a separate section

fix typo

docs: remove the development warning for ICU tokenizer

docs: add a warning about using --no-updates with TIGER data

update and extend man page

Provide extended descriptions for most subcommands.

rename manual directory to man

Avoids confusion between 'docs' and 'manual'.

add munin scipts and ICU subrules to installation

Merge pull request #2469 from lonvia/fix-tablespace-assignment

Fix template expressions for tablespaces

fix template expressions for tablespaces

Merge pull request #2450 from mtmail/tiger-data-2021

US TIGER data 2021 released

Merge pull request #2465 from lonvia/use-spgist-index

Use SP-GIST for building index

remove outdated country_languages.php

add recommendation for Postgis 3+

use SP-GIST index for building index where available

Point-in-polygon queries are much faster with a SP-GIST geometry
index, so use that for the index used to check if a housenumber
is inside a building.

Only available with Postgis 3. There is an automatic fallback to
GIST for Postgis 2.

Merge pull request #2460 from lonvia/multiple-analyzers

Add support for multiple token analyzers

add documentation for new configuration of ICU tokenizer

fix argument description for check_database

reorganize and complete tests around generic token analysis

add tests for sanitizer tagging language

apply variants by languages

Adds a tagger for names by language so that the analyzer of that
language is used. Thus variants are now only applied to names
in the specific language and only tag name tags, no longer to
reference-like tags.

use analyser provided in the 'analyzer' property

Implements per-name choice of analyzer. If a non-default
analyzer is choosen, then the 'word' identifier is extended
with the name of the ana;yzer, so that we still have unique
items.

remove support for properties on variants

Those are not going to be used in the near future, so no need to
carry that code around just now.

precompute replacements while loading configuration

move parsing of token analysis config to analyzer

Adds a second callback for the analyzer which is responsible
for parsing the configuration rules and converting it to
whatever format necessary. This way, each analyzer implementation
can define its own configuration rules.

make token analyzers configurable modules

Adds a mandatory section 'analyzer' to the token-analysis entries
which define, which analyser to use. Currently there is exactly
one, generic, which implements the former ICUNameProcessor.

extend ICU config to accomodate multiple analysers

Adds parsing of multiple variant lists from the configuration.
Every entry except one must have a unique 'id' paramter to
distinguish the entries. The entry without id is considered
the default. Currently only the list without an id is used
for analysis.

move flatten_config_list into config module

For general usage by other modules.

Merge pull request #2458 from lonvia/add-tokenizer-preprocessing

Add a "sanitation" step for name and address tags before token processing

replace test variable for PG env tests

'tty' was removed in PG14 and causes an error.

add unit tests for new sanatizer functions

introduce sanitizer step before token analysis

Sanatizer functions allow to transform name and address tags before
they are handed to the tokenizer. Theses transformations are visible
only for the tokenizer and thus only have an influence on the
search terms and address match terms for a place.

Currently two sanitizers are implemented which are responsible for
splitting names with multiple values and removing bracket additions.
Both was previously hard-coded in the tokenizer.

unify ICUNameProcessorRules and ICURuleLoader

There is no need for the additional layer of indirection that
the ICUNameProcessorRules class adds. The ICURuleLoader can
fill the database properties directly.

fix typo

export more data for the tokenizer name preparation

Adds class, type, country and rank to the exported information
and removes the rather odd hack for countries. Whether a place
represents a country boundary can now be computed by the tokenizer.

add wrapper class for place data passed to tokenizer

This is mostly for convenience and documentation purposes.

Merge pull request #2455 from lonvia/adjust-address-levels-slovakia

Adjust address levels for boundaries in Slovakia

Merge pull request #2454 from lonvia/sort-out-token-assignment-in-sql

ICU tokenizer: switch match method to using partial terms

adjust address levels for boundaries in Slovakia

Levels choosen according to OSM wiki. Mainly moves admin_level 6
to county level and admin_level 8 to city/town level. Higher
levels are adjusted accordingly.

Fixes #2453.

adapt tests to new ICU address token handling

remove unused parameter

Merge pull request #2452 from lonvia/update-houses-on-street-name-change

Force update of surrounding houses when street or place name changes

icu tokenizer: switch to matching against partial names

When matching address parts from addr:* tags against place names,
the address names where so far converted to full names and compared
those to the place names. This can become problematic with the new
ICU tokenizer once we introduce creation of different variants
depending on the place name context. It wouldn't be clear which
variant to produce to get a match, so we would have to create all of
them. To work around this issue, switch to using the partial terms
for matching. This introduces a larger fuzziness between matches but
that shouldn't be a problem because matching is always geographically
restricted.

The search terms created for address parts have a different problem:
they are already created before we even know if they are going to be
used. This can lead to spurious entries in the word table, which slows
down searching. This problem can also be circumvented by using only
partial terms for the search terms. In terms of searching that means
that the address terms would not get the full-word boost, but given
that the case where an address part does not exist as an OSM object
should be the exception, this is likely acceptable.

adapt documentation for SQL tokenizer interface

move name matching into tokenizer module

Instead of requesting the match tokens from the tokenizer
when looking for parent streets/places and address parts,
hand in the saved tokens and ask if they match. This gives
the tokenizer more freedom to decide how name matching
should be done.

force update on rank30 children when place name changes

Name changes may have an effect on parenting. Don't update
surrounding rank30 objects with addr:place tags as this is
potentially too expensive.

force update of surrounding houses when street name changes

When the street changes its name then this may cause changes
in the parenting of rank-30 objects with an addr:street
tag.

Fixes #2242.

US TIGER data 2021 released

slightly increase radius to look for postcodes

Merge pull request #2449 from lonvia/address-ranking-spain

Adjust address ranks for Spain

adjust address ranks for Spain

Adjusts levels for boundaries according to the list on
https://wiki.openstreetmap.org/wiki/Tag:boundary%3Dadministrative

* no admin_level 5, so drop that from addresses
* admin_level 6 has the province
* admin_level 7 has the county when it exists

Also reranks place=province so that it matches up with
admin_level 6 and introduces place=civil_parish which
is used as a place node for some admin_level=9 boundaries
in Galicia.

Merge pull request #2447 from lonvia/fix-dynamic-address-assignment

Fix dynamic assignment of address parts

CI: install locale for CentOS

Remove the installation warning

Installation has become a lot easier.

fix dynamic assignment of address parts

A boolean check for dynamic changes of address parts is not
sufficient. The order of choice should be:

 1. an addr:* part matches the name
 2. the address part surrounds the object
 3. the address part was declared as isaddress

The implementation uses a slightly different ordering
to avoid geometry checks unless strictly necessary (isaddress
is false and no matching address).

See #2446.

Merge pull request #2440 from lonvia/generic-config-loader

Add generic loader for YAML configuration files

fix indent

use yaml config loader for country info

add tests for generic YAML config reader

introduce generic YAML config loader

Adds a function to the Configuration class to load a YAML
file. This means that searching for the file is generalised
and works the same now for all configuration files. Changes
the search logic, so that it is always possible to have a
custom version of the configuration file in the project
directory.

Move ICU tokenizer to use new load function.

Merge pull request #2437 from lonvia/tweak-ranking-searches

Some more tweaks for search interpretation

Merge pull request #2436 from lonvia/country-configuration

Move configuration of default languages into a configuration file

reduce penalty for special searches by name

Additional penalty for special terms with operator None
should only go to near searches. To reduce the number
of produced searches, restrict the none operator to
appear only in conjunction with the name.

further increase penalty on housenumbers without numbers

Make the penality dependent on the length of the token:
no penalty for one letter house numbers and increasing one
for more letters.

remove language and partition from name import

read partition and languages from config file

move country name generation to country_info module

move generation of country tables in own module

add country configuration

The new configuration saves the default language(s) originally
maintained in the OSM wiki as well as the partition information.

Merge pull request #2435 from lonvia/simplified-to-traditional-chinese

icu: normalise simplified to traditional chinese

icu: normalise simplified to traditional chinese

The conversion is unambigious in most cases, so that the
information loss is minimal.

Merge pull request #2434 from lonvia/vagrant-scripts-in-actions

Test installation instructions via CI

CI: use packaged source also for test runs

CI: unify jobs for different vagrant scripts

add workflow for centos 8

CI: use vagrant scripts for import tests

Use vanilla docker images of Ubuntu and leave the setup
to the vagrant scripts. Then do the usual import tests.

Also fixes a couple of issues found with the scripts

Merge pull request #2432 from Mastercuber/patch-1

Added postcode

Added postcode

Added postcode to the list of addressdetails

Add link to fixthemap to issue template

Merge pull request #2429 from lonvia/place-name-to-admin-boundary

Indexing: move linking of places to the preparation stage

move linking of places to the preparation stage

Linked places may bring in extra names. These names need to be
processed by the tokenizer. That means that the linking needs
to be done before the data is handed to the tokenizer. Move finding
the linked place into the preparation stage and update the name
fields. Everything else is still done in the indexing stage.

Merge pull request #2428 from lonvia/rename-icu-tokenizer

Rename legacy_icu tokenizer to icu tokenizer

adapt CI workflow to new tokenizer name

rename legacy_icu tokenizer to icu tokenizer

The new icu tokenizer is now no longer compatible with the old
legacy tokenizer in terms of data structures. Therefore there
is also no longer a need to refer to the legacy tokenizer in the
name.

Merge pull request #2427 from lonvia/remove-us-states-special-casing

Move US state hack into legacy tokenizer

move special hack for US states to legacy tokenizer

The hack for IL, AL and LA is only needed because these abbreviations
are removed by the legacy tokenizer as a stop word. There is no need
to keep the hack for future tokenizers. Move it therefore to the
token extraction function.

add tests for US state hacks

IL, AS and LA are replaced with the US state in Geocode because
the old tokenizer would simply remove the abbreviations otherwise.

Merge pull request #2425 from lonvia/tokenizer-documentation

Introduce official Tokenizer API

add mkdocstrings requirement for building docs

mkdocstrings also needs access to the Python sources, so set
a PYTHONPATH accordingly. This makes running mkdocs directly
a bit awkward, therefore add a `make serve-doc` target.

docs: extend explanation of query phrase

add documentation for PHP part of tokenizer