introduce external processing in indexer

Indexing is now split into three parts: first a preparation step
that collects the necessary information from the database and
returns it to Python. In a second step the data is transformed
within Python as necessary and then returned to the database
through the usual UPDATE which now not only sets the indexed_status
but also other fields. The third step comprises the address
computation which is still done inside the update trigger in
the database.

The second processing step doesn't do anything useful yet.

move word table and normalisation SQL into tokenizer

Creating and populating the word table is now the responsibility
of the tokenizer.

The get_maxwordfreq() function has been replaced with a
simple template parameter to the SQL during function installation.
The number is taken from the parameter list in the database to
ensure that it is not changed after installation.

add migration for configurable tokenizer

Adds a migration that initialises a legacy tokenizer for
an existing database. The migration is not active yet as
it will need completion when more functionality is added
to the legacy tokenizer.

move module installation to legacy tokenizer

introduce tokenizer modules

This adds the boilerplate for selecting configurable tokenizers.
A tokenizer can be chosen at import time and will then install
itself such that it is fixed for the given database import even
when the software itself is updated.

The legacy tokenizer implements Nominatim's traditional algorithms.

Merge pull request #2303 from lonvia/remove-aux-support

Remove support for AUX housenumber tables

remove support for AUX housenumber tables

These tables have never been actively maintained and the code is
completely untested. With the upcomming changes, it is unlikely
that the code remains usable.

This removes the aux tables and all code that references them.

Merge pull request #2299 from lonvia/update-actions

Fix database check for reverse-only

Merge pull request #2291 from AntoJvlt/special-phrases-statistics

Special phrases statistics

do not check for extra housenumber index for reverse-only

Also adds a database check for reverse only import to the CI.

add tests for different scripts

Merge pull request #2298 from lonvia/add-warming-to-ci

Add warming to CI import tests and fix more Python 3.5 compatibility issues

avoid Path in subprocess parameters

Not supported by Python 3.5.

add warming to CI import test

Switching to log info and only send warning for invalid phrases

Implemented statistics for the import of special phrases through the SpecialPhrasesImporterStatistics class

reorganization of folder/file for the special phrases importer

Merge pull request #2297 from lonvia/update-deployment-docs

docs: update deployment to use project directory

Merge pull request #2296 from lonvia/disable-too-few-public-methods-check

pylint: disable too-few-public-methods check

docs: update deployment to use project directory

Fixes #2295.

fix pylint complaints

pylint: disable check too-few-public-methods

Merge pull request #2293 from darkshredder/update-manpage

Updated manual page

Merge pull request #2294 from lonvia/update-actions

CI: add import test against Python 3.5 and fix discovered issues

actions: add import on ubuntu 18.04

This uses oldest possible dependencies where possible.

indexes with includes are not available for postgresql < 11

use group() for regex matches

Needed for compatibility with Python 3.5.

use pathlib version of open

subprocess needs string argument

Compatibility change for Python 3.5.

check for existance of custom .env before opening

use more generic ImportError to check for module

ModuleNotFoundError was only introduced in Python 3.6.

replace usages of fromisoformat() with strptime()

fromisoformat was only introduced with Python 3.7 while we
still support Python 3.5.

Fixes #2292.

remove argparse dependency for vagrant scripts

Users don't need to recreate the manpage.

Updated manual page

bdd tests: fix place dependen ranking tests

The ranks of places may differ for some countries. Force the
place nodes in the test on null island which always uses the
default ranking.

Merge pull request #2288 from RhinoDevel/patch-1

Replace "nominatim-update" with "nominatim".

Replace "nominatim-update" with "nominatim".

If I am not mistaken, the correct command to index imported data via commandline is "nominatim index".

indexer: reset query counter

Reset the counter for queries after the asynchronous connections
have been reopened.

Merge pull request #2285 from lonvia/split-indexer-code

Rework indexer code

factor out async connection handling into separate class

Also adds a test for reconnecting regularly while indexing.

indexer: make self.conn function-local

Also switches to our internal connect function which gives us
a cursor with a sclar() function.

make index() function private

move analyse function into indexinf function

indexer: move runner into separate file

Merge pull request #2284 from lonvia/cleanup-word-frequency-computation

Rename and simplify function for word pre-computation

simplify token precomputation

Rename function to reflect that it is only used for precomputation.
The token IDs are not really needed, so don't bother to compute
the array of tokens.

remove unused word recomputation script

Has been replaced by a script recomputing counts from search_name.

Merge pull request #2283 from darkshredder/tiger-data-test-fix

Fix: tiger-data tarfile test

Fix: tiger-data tarfile test

Merge pull request #2282 from lonvia/add-paths-to-config

Include software paths in Python config object

simplify sql and website creation functions

simplify constructor for SQL preprocessor

Use sql path from config.

simplify interface for adding tiger data

Also simplifies tests using existing fixtures.

add library directories to config

Allows to reduce the number of parameters in functions that take
the config anyway.

Merge pull request #2281 from changpingc/changping/fix-tiger-index

fix index on location_property_tiger (parent_place_id)

fix index on location_property_tiger (parent_place_id)

Looks like 2af82975cd968ec09683ae5b16a9aa157a7f2176
accidentally renamed an index. Because of the added "if not
exists" clause, the index doesn't get created. This
significantly slows down reverse queries because they now
require full scans on location_property_tiger.

Without this fix, reverse queries can take 8s on a full
planet install on an r5.8xlarge instance in EC2.

Merge pull request #2280 from AntoJvlt/Fix-special-phrases-import-and-tests-cleaning

Fix regex and sanity check for the import of special phrases and tests cleaning.

Only log a warning if a wrong input is detected on the wiki while importing special phrases

Fix occurence regex

Cleaned tests and add database cleaning tests on test_import_from_wiki

Merge pull request #2279 from lonvia/add-index-for-continued-indexing

Add index for continued indexing

add tests for continuing import

add support index when continuing import at index phase

Indexing scans the placex table sequentially during indexing
on the initial import. That is okay because we know that all
rows need to be processed anywhere. When continuing the import,
however, a large part might already be indexed, so that the
process spends a lot of time going through rows that are no
longer of interest. Create a supporting index for all unindexed
rows to speed up the scan. This is the same index as used later
for updates.

Merge pull request #2278 from lonvia/remove-transistion-functions

Remove transition functions

remove transition functions from Python

Merge pull request #2277 from lonvia/update-osm2pgsql

Update osm2pgsql to current master

remove PHP code for transition functions

remove installation of PHP util scripts

Merge pull request #2276 from lonvia/port-country-code-creation-to-python

Port country code creation to python

add test for new postcode import function

port function to compute initial postcodes to Python

Merge pull request #2275 from lonvia/switch-to-absolute-imports

Use absolute imports in Python code

use absolute imports in Python code

Relative imports are no longer officially recommended.

update osm2pgsql to current master (fixes version output)

Merge pull request #2263 from AntoJvlt/special-phrases-autoupdate

Implemented auto update of special phrases while importing them

Merge pull request #2270 from lonvia/simplify-place-boundary-merge

Simplify matching between place and boundary names

adapt database check to new index layout

add migration for new placenode geometry index

simplify name matching between boundary and place node

Instead of normalising the names simply compare them in lower
case. This removes the dependency on the tokenizer for
linking boundaries and nodes. When looking up the linked places
by place type also allow that one name is simply contained in the
other. This catches the frequent case where one of the names has
an addendum (e.g. Newport vs. City of Newport).

Drops the special index for the name lookup and insted relies
on a slightly extended version of the geometry index used for
reverse lookup. Saves around 100MB on a planet.

Merge pull request #2269 from lonvia/fix-actions

github actions: reintroduce postgresql repo

github actions: reintroduce postgresql repo

Merge pull request #2264 from darkshredder/tiger-data-tests

Fix:  Error if last statements is wrong and improved tests in tiger data import

Fix: Removed error if endstatement is wrong and improved tests

Tests added for the auto update of special phrases during import

Implemented auto update of special phrases while importing them

Merge pull request #2260 from AntoJvlt/fix-load-languages-special-phrases

Fix default languages loading for special phrases import

Fix default languages loading

Merge pull request #2258 from darkshredder/code-coverage

Disabled Code coverage status checks

CodeCov comment only when codecoverage changes

Disabled Coverage status checks

add badge for codecov

Merge pull request #2252 from darkshredder/code-coverage

Added Code coverage support using Codecov

split LANGUAGES parameter before use

The user supplies the languages as a comma-separated list.

add migration information for new configuration format

Merge pull request #2256 from lonvia/remove-reverseinplan-option

Remove ReverseInPlan option

remove special handling for reversed queries in getGroupedSearches

getGroupedSearches is guaranteed not to be called with reversed
structured queries, so there is no need to have special exclusion
code.

remove reverseInPlan option from Geocode

Disabling query reversal is no longer possible in the configuration,
so there is no need to keep this as an option. Reversal is
automatically disabled for structured search only.

prepare 3.7.0 release

docs: minor spelling corrections

docs: unpacking tiger data is no longer necessary