remove country restriction from tokenizer

Restricting tokens due to the search context is better done in
the generic search part instead of repeating the same test in
every tokenizer implementation.

document tokenizer SQL interface

define formal public Python interface for tokenizer

This introduces an abstract class for the Tokenizer/Analyzer
for documentation purposes.

docs: querying and tokenizers

docs: add developer doc page for Tokenizer

Merge pull request #2424 from lonvia/multi-country-import

Update instructions for importing multiple regions

Merge pull request #2423 from hummeltech/patch-1

Fix old paths for `phpcs` when using `make test`

ignore words without id for status

split up large setup function

port multi-region update scripts to nominatim tool

Also updates the documentation. For the simple case of just
importing multiple regions, provide simplified instructions
that use the new multi-file import feature.

Fixes #2365.

update osm2pgsql to 1.5.1

allow multiple files for the import command

The files are forwarded to osm2pgsql which is now able to merge
them correctly.

Fix old paths for `phpcs` when using `make test`

These paths no longer exist since db3ced17bbfff00411f506d8c84419c875959d5e, they are now all located under `lib-php`

Merge pull request #2413 from osm-search/helm-chart

Installation docs - link to Kubernetes install project

Installation docs - link to Kubernetes install project

As reported by @robjuz in https://github.com/osm-search/Nominatim/discussions/2412

Merge pull request #2408 from lonvia/icu-change-word-table-layout

Change table layout of word table for ICU tokenizer

php: force use of global Exception class

fix Python linitin errors

fix linitin issues in PHP

reinstate word column in icu word table

Postgresql is very bad at creating statistics for jsonb
columns. The result is that the query planer tends to
use JIT for queries with a where over 'info' even when
there is an index.

bdd tests: do not query word table directly

The BDD tests cannot make assumptions about the structure of the
word table anymore because it depends on the tokenizer. Use more
abstract descriptions instead that ask for specific kinds of
tokens.

adapt unit test for new word table

Requires a second wrapper class for the word table with the new
layout. This class is interface-compatible, so that later when
the ICU tokenizer becomes the default, all tests that depend on
behaviour of the default tokenizer can be switched to the other
wrapper.

convert word info column to json before copying

adapt special terms lookup to new word table

switch word tokens to new word table layout

switch special phrases to new word table format

switch postcode tokens to new word table layout

switch housenumber tokens to new word table layout

switch country name tokens to new word table layout

new word table layout for icu tokenizer

The table now directly reflects the different token types.
Extra information is saved in a json structure that may be
dynamically extended in the future without affecting the
table layout.

fix typos in tokenizer docs

Merge pull request #2401 from lonvia/port-add-data-to-python

Port add-data functions from PHP to Python

adapt cli tests to Python port for add-data

remove unused update script

replace add-data function with native Python code

move add-data subcommand into a separate file

fix parameters for TokenWord creation

Merge pull request #2397 from lonvia/increase-minimum-required-versions

Increase minimum required PostgreSQL version to 9.5

remove special code for pre9.5 postgresql

9.5 is now the minimum requirement.

increase minimum version for PostgreSQL to 9.5

This is the minimum version we can test with the CI.
With 9.5 there is also complete support for jsonb available.

require Python 3.6 also in CMakeFile

This had been forgotten when increasing the minimum Python version.

Merge pull request #2396 from lonvia/partial-word-token

Reorganise code that build the SearchDescription

make all Token menbers private

merge marking rare name with adding name token

Only name tokens can be rare, so this should be the same
function.

add documentation for public interface of SearchDescription

factor out check if a token fits current search

Saves allocating an empty array.

move SearchDescription building into tokens

Moving the logic for extending the SearchDescription into the
token classes splits up the code and makes it more readable.
More importantly: it allows tokenizer to define custom token
classes in the future.

remove Token from explicit input for SearchDescription extension

The token string is only required by the PartialToken type, so
it can simply save the token string internally. No need to pass
it to every type.

Also moves the check for multi-word partials to the token loader
code in the tokenizer. Multi-word partials can only happen with
the legacy tokenizer and when the database was loaded with an
older version of Nominatim. No need to keep the check for
everybody.

factor out query position

Moves token and phrase position and phrase type into a separate
class that is handed in when assembling the search description.
This drastically reduces the number of parameters for the function
to extend the search descriptions and gives us more flexibility
in the future for more complex positional analysis.

remove special status of partial tokens

Full-word tokens are no longer marked by a space at the
beginning of the token. Use the new Partial token category
instead. This removes a couple of special casing, we don't
really need.

The word table still has the space for compatibility reasons,
so the tokenizer code needs to get rid of it when loading the
tokens.

introduce a separate token type for partials

This means that the leading space can be removed as a partial
word indicator.

Merge pull request #2393 from lonvia/fix-flake8-issues

Fix flake8 issues

use psycopg's SQL quoting where possible

Use the SQL formatting supplied with psycopg whenever the
query needs to be put together from snippets.

add helper function for execute_values

Make psycopg2's convenience function accessible through
the cursor.

provide wrapper function for DROP TABLE

Use psycopg2 formatting to ensure correct quoting.

more formatting fixes

Found by flake8.

Merge pull request #2391 from lonvia/fix-sonar-issues

Fix bugs and code smells found by Sonarqube

factor out connection reset code

simplify analyse function

split up variant computation for better readability

reorganise process_place function

Move address processing into its own function as it is
rather extensive.

simplify website setup code

Use formaat strings and move variable quoting code into extra
function.

avoid repeated patterns for table name

simplify if statements

convert single case switch to if statement

avoid local variable assignment

fix more missing braces on one-liners

remove dead code

do not intermix params with and without default

directly return data in function

The temporary variable is not necessary.

remove unnecessayly nested ifs

Found by Sonarqube.

remove unused functions

The functions were necessary for the transitory code
to Python and are no longer used.

avoid multiple returns of same value

Found by Sonarqube.

always use brackets on if statements

This adds bracket around all one-line if statements that did
not have them yet.

remove unused variables

As reported by sonarqube.

fix bad use of echo in PHP output

Merge pull request #2390 from lonvia/responsible-disclosure

Add security issue disclosure policy

add security issue disclosure policy

Merge pull request #2384 from lonvia/actions-add-icu-tokenizer

CI: run tests on Ubuntu 18

add missing pyyaml requirement

enable PHP 7.2 for Ubuntu 18 CI

cannot use capture_output in subprocess.run

Only available since Python 3.7.

remove default parameter for namedtuple

This is only available in Python 3.7.

CI: run tests on older Ubuntu version as well

Merge pull request #2382 from lonvia/remove-json-config

Remove outdated ICU tokenizer JSON config

Merge pull request #2383 from lonvia/remove-more-names

Exclude name:etymology and name:signed

exclude name:etymology and name:signed

name:etymology contains a description of the name origin and is
thus more informative than search-worthy.

name:signed basically indicates that the feature does not have
a name.

remove outdated ICU tokenizer JSON config

Merge pull request #2371 from lonvia/increase-python-version

Increase minimum required Python version to 3.6

Merge pull request #2381 from lonvia/reorganise-abbreviations

Reorganise abbreviation handling

add warning about experimental nature of ICU tokenizer

limit the number of variants that can be produced

restrict partial word counting to names of reasoanble length

The partial word count does not split names to save a bit of time.
The result is that it might enounter unreasonably long names
which in truth consist of multiple words. No accurate statistics
are needed so simply restrict the count to words shorter than
75 characters.

fix subsequent replacements

Two replacement words directly following each other did not
work as expected because each expects a space at the
beginning/end while there was only one space available.

Also forbit composing a word after a space was added in the
end by a previous replacement.

leave ICU variant properties empty for now

Saving unused properties causes unnecessary duplicates.

import abbreviations from OSM Wiki

Replaces the variant rules with a slightly cleaned-up
version of the abbreviation lists at
https://wiki.openstreetmap.org/wiki/Name_finder:Abbreviations

improve normalization

Make sure all special symbols are removed during normalization already.
Those won't be interpreted in any way because they are unlikely to be
searched for.

only consider partials in multi-words for initial count

This ensures that it is less likely that we exclude meaningful
words like 'hauptstrasse' just because they are frequent.

add documentation for ICU tokenizer configuration

switch to a more flexible variant description format

The new format combines compound splitting and abbreviation.
It also allows to restrict rules to additional conditions
(like language or region). This latter ability is not used
yet.