Code cleaning, tests simplification and use of python3-icu package

Updated documentation for PyICU support

Introduction of PyICU for transliteration in python. Reversed changes in normalization.sql.

Added wrapper in specialphrases.php to call corresponding nominatim command.

Changed phrase_settings.py to phrase-settings.json and added migration function for old php settings file.

Changed phrase_settings.py to phrase-settings.json and added migration function for old php settings file.

Deleted specialphrases.php and phrase_settings.php

Updated specialphrases_testdb.sql

Ported functions for the import of special phrases from php to python.

- the command is now --import-special-phrases
- the output is not an sql file anymore, data are directly imported to the database.
- the little part on the documentation (section data import) has been modified.

Merge pull request #2219 from lonvia/bdd-test-remove-php

BDD tests: run all setup via nominatim Python library

bdd: run all setup via nominatim Python library

Drops all calls to PHP utility functions. nominatim cli functions
are used where possible, to stay as close to the final code as
possible with the tests.

By removing the PHP calls, the test code now only uses osm2pgsql and
the database module from the build directory.

Merge pull request #2216 from lonvia/fix-reverse-interpolation

Reverse: do not prefer interpolations over closer housenumbers

reverse: do not prefer interpolations over closer housenumbers

Always look up the closest housenumber before looking up
interpolations. This ensures that closer housenumbers are
preferred over interpolations.

Fixes #2214.

Merge pull request #2212 from darkshredder/country-name

Ported createCountryNames() to python and Added tests

Add setup.php

fix template variable name

Merge pull request #2213 from lonvia/tweak-search-weights

Some more tweaking of the ranking of search interpretations

Linting fix

refactored tests and made changes to code for easy readibility

Ported createCountryNames() to python and added tests

Merge pull request #2204 from darkshredder/tiger-data

Ported tiger-data-import to Python and Added Tarball Support

do not mix partial names with other words

As soon as a housenumber, postcode, etc. appear, the name term
must obviously be closed and no further partial terms can be
appended.

make linter happy

avoid multi-term partials in names

Names are either full words or single-word partial names.
Searching for multi-word partials yields exactly the same
result as with full words.

higher penalty for special searches

Adds a general higher penalty for special search term and an
additional one if the term is anywhere but the beginning or the
end. Also housenumbers and special searches together are less
likely.

do not mix partial and full name terms

If NameNonSearch already contains a partial term, then a
full term must not be added to the Name list anymore.

add one-rank penalty for using partial search

Ensures that full matches are preferred over partial ones even when
the full word consists of only one term.

fix result splitting for last search group

When we are in the final iteration of the search groups, it is not
possible to further delay the results. Unconditionally use the
results with the best rank instead.

give preference to full words in address, too

Full word terms are already preferred for the name part. Adding
only one-word partials to the address, makes it impossible to
give a similar preference for the address part. Each term adds
a rank penalty. The problem here is that we interpret the query
forwards and backwards. Having different penalty systems for
name and address means that the same term ends up with different
penalties and that often leads to interpretations of the wrong
direction being in the way.

Added fixture for sql_preprocessor and fixed some issues

Added test for tarfile

Added test and removed runlegacyscript

fixed linting, refactored threaded sql handling and removed importTigerData() function

Test fixes

Linting fixes

Linting fixes

Ported tiger-data-import to python and Added Tarball Support

Merge pull request #2200 from lonvia/migrations-for-current-version

Introduce a command for database migration

documentation for new migration command

automatic migration from 3.6 release

Adds a 'admin --migrate' command that checks for the current
database version and runs any necessary migrations. Also
has migrations going back to 3.6.

Merge pull request #2197 from lonvia/use-jinja-for-sql-preprocessing

Use jinja2 for SQL preprocessing

port index creation to python

Also switches to jinja-based preprocessing, which allows to
simplify the SQL files. Use 'if not exists' where possible
so that the step can be rerun to fix missing indexes.

indexer: ANALYSE must be run outside transactions

move table creation to jinja-based preprocessing

add new jinja2 requirement

introduce jinja2 for preprocessing SQL

Replaces various hand-crafted replacements of varying format with
a single Jinja2 templating mechanism. Allows full access to
configuration if necessary.

Merge pull request #2194 from grischard/patch-1

Fix typo in .github/actions/build-nominatim/action.yml

Update action.yml

Merge pull request #2192 from lonvia/database-versioning

Introduce database versioning

document new status fields

return database version with status API

add database_version setting to tests

do not depend on cmdline parameter for creating partition tables

The partition numbers in use only depend on the entries in search_name.

save software version in the database

The version represents the software version that was used to
import the data.

report software version of status call

introduce database patch level for version

This will be needed later for automatic migrations.

make sure that calls to PHP legacy scripts are fatal on error

introduce table for in-database properties

Adds a simple table where settings for the database can be
saved. This is useful for state that must not change after
import.

remove unused import

use tmp_path fixture in config tests

fix typo

Merge pull request #2186 from lonvia/port-import-to-python

Move setup procedure to Python

make sure psql always finishes

If an execption is raised by other means, we still have to close
the stdin pipe to psql to make sure that it exits and releases its
connection to the database.

older versions of Postgresql need explicit return type

do not truncate search_name in reverse-only mode

actions: add psutil dependency

fix verbose flag for PHP wrapper scripts

The flag must come after the command.

bdd: use python library where possible

Replace calls to PHP scripts with direct calls into the
nominatim Python library where possible. This speed up
tests quite a bit.

move setup function to python

There are still back-calls to PHP for some of the sub-steps.
These needs some larger refactoring to be moved to Python.

properly close connections of indexer after use

prot load-data function to python

add a function for the intial indexing run

Also moves postcodes to fully parallel indexing.

remove unused partitionfunction function

port wikipedia importance functions to python

move import-data option to native python

This adds a new dependecy to the Python psutil package.

introduce custom object for cmdline arguments

Allows to define special functions over the arguments.

Also splits CLI tests in two files as they have become too many.

port database setup function to python

Hide the former PHP functions in a transition command until
they are removed.

use psql for executing sql files

This allows to run larger files without needing to keep
them in memory.

add function to set up libpq environment

Instead of parsing the DSN for each external libpq program we
are going to execute, provide a function that feeds them all
necessary parameters through the environment.

osm2pgsql is the first user.

convert connect() into a context manager

Merge pull request #2185 from lonvia/fix-deadlock-handling-for-psycopg27

Improve deadlock detection for various versions of psycopg2

improve deadlock detection for various versions of psycopg2

Psycopg2 has changed the kind of exception that is emitted on
deadlocks between versions 2.7 and 2.8. The code was already
trying to catch both kind of errors but because the
psycopg2.errors package is unknown in 2.7 and below, the
code would throw an exception on anything but a deadlock error.

This commit wraps the deadlock handling into a context manager
to avoid code duplication and uses module imports to detect if
the new error codes are available.

Also sets the required psycopg2 version to 2.7 or bigger as
versions below are difficult to test.

Merge pull request #2182 from lonvia/change-error-for-details

Return 404 for details when no object is found in database

return 404 for details when no bject is found in database

Fixes #2157.

Merge pull request #2181 from lonvia/port-more-tool-functions-to-python

Port more tool functions to python

avoid os.environ as default valie

fix return code for check database run with 'not applicable'

bdd tests: directly call python code for setup-website

port setup-website to python

add unit tests for new check_database code

port check-database function to python

This change also adapts the hints to use the nominatim tool.
Slightly changed checks, so that they are just as effective on
a frozen database.

use a frozen DB for API tests

This way we also test that dropping does the right thing.

remove unused code

port freeze function to python

Merge pull request #2173 from lonvia/penality-for-housenumberless-places

Increase penalty for places without housenumber

Merge pull request #2174 from lonvia/disable-jit-for-osm2pgsql-again

Disable JIT and parallel execution for osm2pgsql updates again

disable JIT and parallel execution for osm2pgsql updates again

The gazetteer output doesn't disable these functions when
writing to the place table but the triggers may contain
operations that cause misplanning for the query planner.

add simple test for result splitting with multiple ranks

increase penalty for places without housenumber

Results where the housenumber was dropped are an unlikely result
when they refer to something other than a street. Therefore
increase their result rank so that other matches are tried first
before choosing them as a result.

Improves #2167.

Merge pull request #2166 from mtmail/tiger-2020

documentation: 2020 TIGER data got released