factor out async connection handling into separate class

Also adds a test for reconnecting regularly while indexing.

indexer: make self.conn function-local

Also switches to our internal connect function which gives us
a cursor with a sclar() function.

make index() function private

move analyse function into indexinf function

indexer: move runner into separate file

Merge pull request #2284 from lonvia/cleanup-word-frequency-computation

Rename and simplify function for word pre-computation

simplify token precomputation

Rename function to reflect that it is only used for precomputation.
The token IDs are not really needed, so don't bother to compute
the array of tokens.

remove unused word recomputation script

Has been replaced by a script recomputing counts from search_name.

Merge pull request #2283 from darkshredder/tiger-data-test-fix

Fix: tiger-data tarfile test

Fix: tiger-data tarfile test

Merge pull request #2282 from lonvia/add-paths-to-config

Include software paths in Python config object

simplify sql and website creation functions

simplify constructor for SQL preprocessor

Use sql path from config.

simplify interface for adding tiger data

Also simplifies tests using existing fixtures.

add library directories to config

Allows to reduce the number of parameters in functions that take
the config anyway.

Merge pull request #2281 from changpingc/changping/fix-tiger-index

fix index on location_property_tiger (parent_place_id)

fix index on location_property_tiger (parent_place_id)

Looks like 2af82975cd968ec09683ae5b16a9aa157a7f2176
accidentally renamed an index. Because of the added "if not
exists" clause, the index doesn't get created. This
significantly slows down reverse queries because they now
require full scans on location_property_tiger.

Without this fix, reverse queries can take 8s on a full
planet install on an r5.8xlarge instance in EC2.

Merge pull request #2280 from AntoJvlt/Fix-special-phrases-import-and-tests-cleaning

Fix regex and sanity check for the import of special phrases and tests cleaning.

Only log a warning if a wrong input is detected on the wiki while importing special phrases

Fix occurence regex

Cleaned tests and add database cleaning tests on test_import_from_wiki

Merge pull request #2279 from lonvia/add-index-for-continued-indexing

Add index for continued indexing

add tests for continuing import

add support index when continuing import at index phase

Indexing scans the placex table sequentially during indexing
on the initial import. That is okay because we know that all
rows need to be processed anywhere. When continuing the import,
however, a large part might already be indexed, so that the
process spends a lot of time going through rows that are no
longer of interest. Create a supporting index for all unindexed
rows to speed up the scan. This is the same index as used later
for updates.

Merge pull request #2278 from lonvia/remove-transistion-functions

Remove transition functions

remove transition functions from Python

Merge pull request #2277 from lonvia/update-osm2pgsql

Update osm2pgsql to current master

remove PHP code for transition functions

remove installation of PHP util scripts

Merge pull request #2276 from lonvia/port-country-code-creation-to-python

Port country code creation to python

add test for new postcode import function

port function to compute initial postcodes to Python

Merge pull request #2275 from lonvia/switch-to-absolute-imports

Use absolute imports in Python code

use absolute imports in Python code

Relative imports are no longer officially recommended.

update osm2pgsql to current master (fixes version output)

Merge pull request #2263 from AntoJvlt/special-phrases-autoupdate

Implemented auto update of special phrases while importing them

Merge pull request #2270 from lonvia/simplify-place-boundary-merge

Simplify matching between place and boundary names

adapt database check to new index layout

add migration for new placenode geometry index

simplify name matching between boundary and place node

Instead of normalising the names simply compare them in lower
case. This removes the dependency on the tokenizer for
linking boundaries and nodes. When looking up the linked places
by place type also allow that one name is simply contained in the
other. This catches the frequent case where one of the names has
an addendum (e.g. Newport vs. City of Newport).

Drops the special index for the name lookup and insted relies
on a slightly extended version of the geometry index used for
reverse lookup. Saves around 100MB on a planet.

Merge pull request #2269 from lonvia/fix-actions

github actions: reintroduce postgresql repo

github actions: reintroduce postgresql repo

Merge pull request #2264 from darkshredder/tiger-data-tests

Fix:  Error if last statements is wrong and improved tests in tiger data import

Fix: Removed error if endstatement is wrong and improved tests

Tests added for the auto update of special phrases during import

Implemented auto update of special phrases while importing them

Merge pull request #2260 from AntoJvlt/fix-load-languages-special-phrases

Fix default languages loading for special phrases import

Fix default languages loading

Merge pull request #2258 from darkshredder/code-coverage

Disabled Code coverage status checks

CodeCov comment only when codecoverage changes

Disabled Coverage status checks

add badge for codecov

Merge pull request #2252 from darkshredder/code-coverage

Added Code coverage support using Codecov

split LANGUAGES parameter before use

The user supplies the languages as a comma-separated list.

add migration information for new configuration format

Merge pull request #2256 from lonvia/remove-reverseinplan-option

Remove ReverseInPlan option

remove special handling for reversed queries in getGroupedSearches

getGroupedSearches is guaranteed not to be called with reversed
structured queries, so there is no need to have special exclusion
code.

remove reverseInPlan option from Geocode

Disabling query reversal is no longer possible in the configuration,
so there is no need to keep this as an option. Reversal is
automatically disabled for structured search only.

prepare 3.7.0 release

docs: minor spelling corrections

docs: unpacking tiger data is no longer necessary

Merge pull request #2250 from lonvia/save-transliterated-housenumbers

Switch to saving transliterated housenumbers in placex

Fixed BDD tests coverage reports

add migration for transliterated housenumbers

use new transliteration in initial housenumber word computation

The new create_housenumber_id() function splits housenumber
lists correctly. Otherwise there is no difference.

correctly handle housenumber lists

Lists are now standardised to use a semicolon separator.

move transliteration of housenumbers into indexing

Housenumbers are now saved in transliterated form in the housenumber
column. This saves the transliteration step during lookup.

tests for finding non-ascii housenumbers

return housenumbers always from address field

This means that we can use normalized versions of the
housenumber in the housenumber field as it is no longer
a user visible field.

Merge pull request #2248 from darkshredder/special-term-test

Added Test for TokenSpecialTerm

Added Test for TokenSpecialTerm

Merge pull request #2247 from lonvia/index-for-housenumber-lookup

Index for housenumber lookup

add recommendation for Postgresql 11+

use non-key index to speed up housenumber search

On Postgresql versions 11+ add an index to speed up the lookup
of housenumbers for terms found in search_name. This is really
just a band-aid around the query planer's interpretation of the
query.

Added code-cov Support for Code Coverage

Merge pull request #2243 from darkshredder/XML-format-fix

Fixed: XML format: more_url points to localhost, not base URL

Merge pull request #2244 from AntoJvlt/import-special-phrases-tests-cleaning

Cleaned tests for special phrases.

Added HTTP_HOST to if statement

Cleaned tests of exceptions and fix phrase_settings.json test file name.

fixed: XML format: more_url points to localhost, not base URL

Merge pull request #2234 from darkshredder/add-man-page

Added Manual page for Nominatim tool

allow sorting by housenumbers for rare street names

Usually we don't narrow down search results by house number when
only a street name is given because there may be a lot of rows
to cross check when the street name is very frequent. However,
when it is known to be rare, the housenumber check may be done
anyway.

Fixes #2238.

Update manpage after rebase

Nominatim/cli.py rebase fixes

Rebase with master

fixed indentation and used sed to remove AUTHORS section

Added Manual page and fixed documentation

Merge pull request #2228 from AntoJvlt/import-special-phrases-porting-python

Import special phrases porting python

Change command 'import-special-phrases --from-wiki' to 'special-phrases --import-from-wiki'.

Errors fixes, Cleaning code, Improvement and addition of tests

Encapsulation of tools/special_phrases.py into SpecialPhrasesImporter class and add new tests.

Code cleaning, tests simplification and use of python3-icu package

Updated documentation for PyICU support

Introduction of PyICU for transliteration in python. Reversed changes in normalization.sql.

Added wrapper in specialphrases.php to call corresponding nominatim command.

Changed phrase_settings.py to phrase-settings.json and added migration function for old php settings file.

Changed phrase_settings.py to phrase-settings.json and added migration function for old php settings file.

Merge pull request #2233 from lonvia/index-for-postcode-ids

Create postcode id index earlier

create postcode id index earlier

Now that the indexer takes care of indexing the postcode tables,
the id index is needed to find the rows to index.

Merge pull request #2231 from mtmail/correct-cli-help-page

nominatim -h was printing wrong text for lookup and details