introduce mutation variants to generic token analyser

Mutations are regular-expression-based replacements that are applied
after variants have been computed. They are meant to be used for
variations on character level.

Add spelling variations for German umlauts.

move variant configuration reading in separate file

refactor variant production to use generators

Merge pull request #2578 from lonvia/iso-3166-2

Make ISO3166-2 references searchable

Merge pull request #2579 from geofabrik/doc-update-typo

Fix typo in name of service. The rest of the docs call it nominatim-updateS

Fix typo in name of service. The rest of the docs call it nominatim-updateS

make ISO3166-2 references searchable

Merge pull request #2571 from lonvia/ukrainian-apostrophe

Consider "modifier letter apostrophe" to be punctuation

consider "modifier letter apostrophe" to be punctuation

While technically being a letter, the apostrophe is often replaced
with a normal apostrophe in writing which is a punctuation mark.
This makes sure that the modifier letter apostrophe yields the same
normalization results and thus is really interchangable.

Only has an effect after the next reimport.

Fixes #2569.

Merge pull request #2570 from woodpeck/patch-3

Fix typos

Fix typos

Merge pull request #2565 from lonvia/swap-wordset-order

Swap order of query interpretation

swap order of query interpretation

A forward interpretation of the form 'street, city, country' is
much more frequent than the reverse form 'country, city, street'.
Thus swap the order of interpretations that the forward order comes
first.

Merge pull request #2562 from lonvia/copyright-headers

Add consistent copyright headers

add consistent SPDX copyright headers

Merge pull request #2559 from lonvia/disable-jit-in-queries

Disable JIT and parallel workers on search frontend

disable JIT and parallel workers on search frontend

Bad query planning now also interferes with queries for search and
reverse.

Merge pull request #2553 from lonvia/revert-street-matching-to-full-names

Revert street matching to full names

correctly match abbreviated addr:street

This only works when addr:street is abbreviated and the street
name isn't. It does not work the other way around.

Merge pull request #2542 from lonvia/update-phpunit

Update PHPUnit use to 9.5

restrict PHPUnit to 9.5 version

There are so many breaking changes with PHPUnit that it is
impossible to give any other guarantees.

enable PHPUnit 9 for coverage

A couple of functions have been renamed.

php unit: replace deprecated regex assert

The regEx assertion has been renamed in PHPUnit 9.5
and causes deprecation warnings.

php unit: don't enforce a name on the test database

Also gets rid of a PHPUnit deprecation warning.

php test: class must be called like the file

disable codecov

Not working.

Merge pull request #2540 from lonvia/remove-support-for-centos7

Remove installation instructions for CentOS 7

remove installation instructions for CentOS 7

This ends official support for CentOS 7.

remove some odd varaints of addr:street from the styles

Some import has added names in partial tags which confuse the
street name matching.

skip most addr: tags with suffixes

Only one addr: tag can be processed currently, so make
sure it is the one without suffixes to not get odd data.
addr:street is the exception because it uses a different
matching mechanism.

ICU: matching any street name will do again

revert to using full names for street name matching

Using partial names turned out to not work well because there are
often similarly named streets next to each other. It also
prevents us from being able to take into account all addr:street:*
tags.

This change gets all the full term tokens for the addr:street tags
from the DB. As they are used for matching only, we can assume that
the term must already be there or there will be no match. This
avoid creating unused full name tags.

Merge pull request #2539 from lonvia/clean-up-python-tests

Restructure and extend python unit tests

specify text type in test SQL

Older version of postgres fail otherwise.

split cli tests by subcommand and extend coverage

remove unnecessary pass statements

more unit tests for tokenizers

extend API unit tests

add tests for migration

more testing for refresh functions

more tests for exec utilities

add more tests for database import

add tests for adding additional data

Also adds checks that parameters for osm2pgsql are set
as expected.

add tests for flatten_config_file and other than yaml formats

tests: add fixture for making test project directory

generalize fixtures for cli tests

python test: move single-use fixtures to subdirectories

remove unused test files

organise python tests in subdirectories

The directories follow the same structure as the modules in
nominatim/.

Merge pull request #2530 from lonvia/declassify-highway

Change default rank for highway objects to 30

change default rank for highway objects to 30

The highway key is being used more and more for non-ways these
days. This clashes with Nominatim's assumption that essentially
everything that has a highway tag can be used as the street part
of the address.

Change the default rank of highway objects to 30 to avoid this.
Only the known values for streets keep the rank 26 and are now
listed explicitly.

Merge pull request #2529 from lonvia/sort-street-results-by-tiger-housenumber

Take tiger housenumber into account when ranking street results

add migration for inclusive housenumber Tiger index

add index for Tiger housenumber queries

take Tiger housenumbers into account when ranking street results

Queries with a housenumber need to rank streets higher that
have the requested housenumber attached. We already do that for
ordinary housenumber objects and for interpolations. This
adds support for Tiger housenumbers as well.

Fixes #2501.

Merge pull request #2528 from lonvia/allow-french-extra-housenumbers

Don't penalize French 'bis' housenumbers

Merge pull request #2526 from lonvia/docs-moving-database

Add a section about moving the database to another machine

don't penalize French 'bis' housenumbers

House numbers of the form '9 bis' are usual in France. So
be a bit more lenient before adding penalties to house numbers
with letters in them.

Fixes #2527.

Merge pull request #2525 from lonvia/fix-replication-indexer

Fix instantiation of indexer for replication

add a section about moving the database to another machine

only instantiate indexer once for replication

Also makes sure that indexer object exists everywhere were needed.

See #2518.

Merge pull request #2517 from lonvia/transliteration-special-chars

ICU: avoid non-alphanumerical characters in transliteration

make sure housenumbers are properly quoted

avoid special characters in word tokens

Transliteration should only consist of ASCII letters
and numbers. Avoid any other characters.

Merge pull request #2516 from lonvia/test-for-website-dir

Better error reporting when API script does not exist

better error reporting when API script does not exist

Check if the API script exists on the expected location before
running php-cli. This way we can add a useful hint about the
project directory.

Fixes #2513.

Merge pull request #2511 from lonvia/fix-combination-error-needs-address

Fix boolean combination of NeedsAddress flag

fix combination of NeedsAddress flag

When dealing with multiple partial terms, only keep the
flag, when all partial terms are so frequent as to need
an address.

Fixes #2510.

prepare release 4.0.0

fix typo

Merge pull request #2502 from lonvia/improve-development-documentation

Extend developer's documentation

docs: add overview over indexing

docs: section about database layout

Replaces the import description which basically was
table layout only now.

Merge pull request #2498 from lonvia/ordering-for-unlisted-place-results

Include unlisted places in ordering by housenumber

Merge pull request #2497 from lonvia/docs-maintenance

docs: add new maintenance section

include unlisted places in ordering by housenumber

When ordering results by the fact that they have a housenumber,
also take cases into account where the housenumber is on the
place itself. This may happen when the search includes the name
of the place and the housenumber or for addr:place addresses
where the place is unlisted.

docs: add new maintenance section

currently used for postcode updates, word count updates and
deleted relations.

Merge pull request #2495 from lonvia/fix-normalization-in-php

ICU: use correct normalization during search

ICU: use normalization from config in PHP

The TERM_NORMALIZATION config option is no longer applicable.
That was already documented but not yet implemented.

bdd: add tests for non-latin scripts

Merge pull request #2493 from lonvia/handle-frequent-partials

Tune search queries with frequent partial words

adapt BDD tests to stricter partial search

do not count words when in reverse-only mode

further refactor setup to keep function small

searches for house numbers must have an address

disallow search for partials without address

Very frequent partial terms take too long to look up and
do not return any valuable results unless the search is
further narrowed down by an address.

make word count computation part of the import

Accurate word counts are now essential when using
the ICU tokenizer and don't hurt for the legacy one.

Adds about an hour import time.

actions: move ICU tests into its own run

Merge pull request #2486 from lonvia/fix-special-phrases

Fix parsing of operator in special phrases

ICU: add an index over word_ids

Needed for keyword lookup in the details response.

be case-insensitve about special phrase operator

fix parsing of operator in special phrases

Because of unstripped input, the operators wouldn't match.

Merge pull request #2484 from lonvia/fix-index-use

Reverse: add index hints

Merge pull request #2483 from lonvia/fix-warming

Fix warming for ICU tokenizer

reverse: add index hints

The fairly complex where condition of idx_placex_geometry_placenode
won't always be matched by the query planner if the condition
part doesn't appear verbatim in the query.

Fixes #2480.

fix warming for ICU tokenizer

Running the warm-up search requests requires querying
the most frequent words. This must be done via the tokenizer
to honor the different formats of the word table.

allow relative paths for log files

Merge pull request #2476 from lonvia/harmonize-configuration-file-settings

Standardize handling of file names in configuration values

allow relative paths for flatnode file

switch IMPORT_STYLE to use generic file search

Allows relative paths wrt project directory.