add unit tests for legacy ICU tokenizer

cache translieration results

add PHP part for new ICU-base tokenizer

add Python part for new ICU-based tokenizer

Merge pull request #2310 from RhinoDevel/master

2nd try: Add hint about replication update & recheck intervals being in seconds.

Add hint about replication update & recheck intervals being in seconds.

Merge pull request #2305 from lonvia/tokenizer

Factor out normalization into a separate module

mock tokenizer factory for replication tests

commit between migrations

Later migrations may require tables set up by older ones.

increase database version for tokenizer migration

fix liniting issues

move index creation for word table to tokenizer

This introduces a finalization routing for the tokenizer
where it can post-process the import if necessary.

indexer: fetch extra place data asynchronously

The indexer now fetches any extra data besides the place_id
asynchronously while processing the places from the last batch.
This also means that more places are now fetched at once.

fetch place info asynchronously

indexer: fetch ids in batches

move database check for module to tokenizer

move status test to tokenizer

The availability of the module is now tested by the tokenizer.

add more tests for legacy tokenizer

move tokenization in query into tokenizer

boilerplate for PHP code of tokenizer

This adds an installation step for PHP code for the tokenizer. The
PHP code is split in two parts. The updateable code is found in
lib-php. The tokenizer installs an additional script in the
project directory which then includes the code from lib-php and
defines all settings that are static to the database. The website
code then always includes the PHP from the project directory.

tests for legacy tokenizer

move amenity creation to tokenizer

The BDD tests still use the old-style amenity creation scripts
because we don't have simple means to import a hand-crafted
test file of special phrases right now.

move default country name creation to tokenizer

The new function is also used, when a country us updated. All SQL
function related to country names have been removed.

cache all postcodes

reorganise address iteration in tokenizer

remove debug code

use address tokens in SQL

extract address tokens in tokenizer

move postcode normalization into tokenizer

move houseunumber handling to tokenizer

Normalization and token computation are now done in the tokenizer.
The tokenizer keeps a cache to the hundred most used house numbers
to keep the numbers of calls to the database low.

move name token creation into tokenizer

Name tokens are now handed in via token_info and used from there.

Also moves the generic search name insertion function back to
placex_triggers.sql.

introduce name analyzer

The name analyzer is the actual work horse of the tokenizer. It
is instantiated on a thread-base and provides all functions for
analysing names and queries.

require tokeinzer for indexer

introduce index for finding surrounding buildings

add extra column for tokenizer

Add a jsonb column to the placex and location_property_osmline tables
which can be used by the installed tokenizer as required. No other
part of the software will use or otherwise rely on this column.

introduce external processing in indexer

Indexing is now split into three parts: first a preparation step
that collects the necessary information from the database and
returns it to Python. In a second step the data is transformed
within Python as necessary and then returned to the database
through the usual UPDATE which now not only sets the indexed_status
but also other fields. The third step comprises the address
computation which is still done inside the update trigger in
the database.

The second processing step doesn't do anything useful yet.

move word table and normalisation SQL into tokenizer

Creating and populating the word table is now the responsibility
of the tokenizer.

The get_maxwordfreq() function has been replaced with a
simple template parameter to the SQL during function installation.
The number is taken from the parameter list in the database to
ensure that it is not changed after installation.

add migration for configurable tokenizer

Adds a migration that initialises a legacy tokenizer for
an existing database. The migration is not active yet as
it will need completion when more functionality is added
to the legacy tokenizer.

move module installation to legacy tokenizer

introduce tokenizer modules

This adds the boilerplate for selecting configurable tokenizers.
A tokenizer can be chosen at import time and will then install
itself such that it is fixed for the given database import even
when the software itself is updated.

The legacy tokenizer implements Nominatim's traditional algorithms.

Merge pull request #2303 from lonvia/remove-aux-support

Remove support for AUX housenumber tables

remove support for AUX housenumber tables

These tables have never been actively maintained and the code is
completely untested. With the upcomming changes, it is unlikely
that the code remains usable.

This removes the aux tables and all code that references them.

Merge pull request #2299 from lonvia/update-actions

Fix database check for reverse-only

Merge pull request #2291 from AntoJvlt/special-phrases-statistics

Special phrases statistics

do not check for extra housenumber index for reverse-only

Also adds a database check for reverse only import to the CI.

add tests for different scripts

Merge pull request #2298 from lonvia/add-warming-to-ci

Add warming to CI import tests and fix more Python 3.5 compatibility issues

avoid Path in subprocess parameters

Not supported by Python 3.5.

add warming to CI import test

Switching to log info and only send warning for invalid phrases

Implemented statistics for the import of special phrases through the SpecialPhrasesImporterStatistics class

reorganization of folder/file for the special phrases importer

Merge pull request #2297 from lonvia/update-deployment-docs

docs: update deployment to use project directory

Merge pull request #2296 from lonvia/disable-too-few-public-methods-check

pylint: disable too-few-public-methods check

docs: update deployment to use project directory

Fixes #2295.

fix pylint complaints

pylint: disable check too-few-public-methods

Merge pull request #2293 from darkshredder/update-manpage

Updated manual page

Merge pull request #2294 from lonvia/update-actions

CI: add import test against Python 3.5 and fix discovered issues

actions: add import on ubuntu 18.04

This uses oldest possible dependencies where possible.

indexes with includes are not available for postgresql < 11

use group() for regex matches

Needed for compatibility with Python 3.5.

use pathlib version of open

subprocess needs string argument

Compatibility change for Python 3.5.

check for existance of custom .env before opening

use more generic ImportError to check for module

ModuleNotFoundError was only introduced in Python 3.6.

replace usages of fromisoformat() with strptime()

fromisoformat was only introduced with Python 3.7 while we
still support Python 3.5.

Fixes #2292.

remove argparse dependency for vagrant scripts

Users don't need to recreate the manpage.

Updated manual page

bdd tests: fix place dependen ranking tests

The ranks of places may differ for some countries. Force the
place nodes in the test on null island which always uses the
default ranking.

Merge pull request #2288 from RhinoDevel/patch-1

Replace "nominatim-update" with "nominatim".

Replace "nominatim-update" with "nominatim".

If I am not mistaken, the correct command to index imported data via commandline is "nominatim index".

indexer: reset query counter

Reset the counter for queries after the asynchronous connections
have been reopened.

Merge pull request #2285 from lonvia/split-indexer-code

Rework indexer code

factor out async connection handling into separate class

Also adds a test for reconnecting regularly while indexing.

indexer: make self.conn function-local

Also switches to our internal connect function which gives us
a cursor with a sclar() function.

make index() function private

move analyse function into indexinf function

indexer: move runner into separate file

Merge pull request #2284 from lonvia/cleanup-word-frequency-computation

Rename and simplify function for word pre-computation

simplify token precomputation

Rename function to reflect that it is only used for precomputation.
The token IDs are not really needed, so don't bother to compute
the array of tokens.

remove unused word recomputation script

Has been replaced by a script recomputing counts from search_name.

Merge pull request #2283 from darkshredder/tiger-data-test-fix

Fix: tiger-data tarfile test

Fix: tiger-data tarfile test

Merge pull request #2282 from lonvia/add-paths-to-config

Include software paths in Python config object

simplify sql and website creation functions

simplify constructor for SQL preprocessor

Use sql path from config.

simplify interface for adding tiger data

Also simplifies tests using existing fixtures.

add library directories to config

Allows to reduce the number of parameters in functions that take
the config anyway.

Merge pull request #2281 from changpingc/changping/fix-tiger-index

fix index on location_property_tiger (parent_place_id)

fix index on location_property_tiger (parent_place_id)

Looks like 2af82975cd968ec09683ae5b16a9aa157a7f2176
accidentally renamed an index. Because of the added "if not
exists" clause, the index doesn't get created. This
significantly slows down reverse queries because they now
require full scans on location_property_tiger.

Without this fix, reverse queries can take 8s on a full
planet install on an r5.8xlarge instance in EC2.

Merge pull request #2280 from AntoJvlt/Fix-special-phrases-import-and-tests-cleaning

Fix regex and sanity check for the import of special phrases and tests cleaning.

Only log a warning if a wrong input is detected on the wiki while importing special phrases

Fix occurence regex

Cleaned tests and add database cleaning tests on test_import_from_wiki

Merge pull request #2279 from lonvia/add-index-for-continued-indexing

Add index for continued indexing

add tests for continuing import

add support index when continuing import at index phase

Indexing scans the placex table sequentially during indexing
on the initial import. That is okay because we know that all
rows need to be processed anywhere. When continuing the import,
however, a large part might already be indexed, so that the
process spends a lot of time going through rows that are no
longer of interest. Create a supporting index for all unindexed
rows to speed up the scan. This is the same index as used later
for updates.

Merge pull request #2278 from lonvia/remove-transistion-functions

Remove transition functions

remove transition functions from Python