reorganize code around result formatting

Code is now organized by api version. So formatting has moved to
the api.v1 module. Instead of holding a separate ResultFormatter
object per result format, simply move the functions to the
formater collector and hand in the requested format as a parameter.
Thus reorganized, the api.v1 module can export three simple functions
for result formatting which in turn makes the code that uses
the formatters much simpler.

reorganize api submodule

Use a directory for the submodule where the __init__ file contains
the public API. This makes it easier to separate public interface
from the internal implementation.

api: delay setup of initial database connection

Defer database setup until the first call to a function. Needs an
additional lock because the setup still needs to be done sequentially.

Merge pull request #2955 from lonvia/fix-importance-refresh

Fix importance recalculation

Merge pull request #2954 from lonvia/remove-comma-as-separator

Remove comma as name separator

fix importance recalculation

The signature of the compute_importance() function has changed.

remove comma as name separator

Commas are most of the time used as a part of a name, not to
separate multiple names.

See also #2950.

exclude names ending in :wikipedia from indexing

The wikipedia prefix is used for referencing a wikipedia article
for the given tag, not the object, so not useful to search.

fix typo in argument to details CLI command

Fixes #2951.

update Makefile in test directory

Merge pull request #2940 from lonvia/remove-ubuntu-18-from-actions

Actions: use Ubuntu 20 image for testing old versions of dependent software

increase minimum required version of PHP to 7.3

Other versions are not tested anymore.

actions: move tests from Ubuntu 18 to 20

These are the tests that try to make sure old library version really
still work as expected. Increases PHP to 7.3 because 7.2 has errors.

do not run osm2pgsql append with mutliple threads

As the updates modify the placex table, there may be deadlocks
when different objects want to forward modifications to the same
place (for example because they are both linked to it).

Merge pull request #2937 from lonvia/python-server-stub

Scaffolding for new Python-based search frontend

Merge pull request #2856 from t-tomek/patch-1

Update DB.php

no type checking on old Ubuntu 18

add event handler for default connection settings

update versions for Python packages

drop official support for Ubuntu 18

drop support for Python 3.6

update dependencies for Actions

convert version to named tuple

Also return the new NominatimVersion rather than a string in the
status result.

fix error message for non-existing database

add unit tests for new Python API

docs: extend dependency documentation

extend BDD API tests to query via Python frameworks

A new config option ENGINE allows to choose between php and any of the
supported Python engines.

fix liniting issues and add type annotations

add support for starlette framework

add support for falcon as server framework

add sanic development server implementation

implement command line status call in Python

Merge pull request #2936 from lonvia/fix-query-for-index-use

Split query that deletes old objects from placex

split query that deletes old objects from placex

placex only has partial indexes over OSM types, so the OSM type
needs to be hardcoded to ensure these indexes are used.

Merge pull request #2932 from lonvia/rework-flex-framework

Switch to osm2pgsql flex output

Update DB.php

remove old import styles

bdd: recreate project directory for every run

add tests for examples in lua style documentation

And fix all the errors the tests have found.

add documentation for flex style

Includes minor adaptions to bring the code in line with the
documentation.

Merge pull request #2931 from mtmail/vagrant-md-use-dotenv

VAGRANT.md - replace local.php settings with .env

VAGRANT.md - replace local.php settings with .env

Update DB.php

Update DB.php

Update DB.php

Update DB.php

use canonical url for nominatim.org

adapt tests for new lua styles

install new lua import scripts

switch to osm2pgsql flex style by default

flez: add other default styles

flex: hide compiled matchers

flex: switch to functions for substyles

This gives us a bit more flexibility about the implementation
in the future.

explicit export for functions in flex-base

flex: add combining clean function

flex: simplify name handling

flex: simplify address configuration

update osm2pgsql (flex not building index)

Merge pull request #2927 from lonvia/remove-forward-dependencies

Remove shortcut disabling forward dependencies

remove code that disables processing of forward dependencies

Merge pull request #2921 from lonvia/case-insensitive-utf8

Use grapheme_stripos instead of stripos in PHP code

use grapheme_stripos instead of stripos in PHP code

The stripos() does not handle non-ASCII correctly.

Merge pull request #2920 from lonvia/no-postcode-for-rivers

Do not assign postcodes to long linear features

do not assign postcodes to long linear features

This avoids a postcode in particular for waterway features and
long natural featues like ridges and valleys.

Fixes #2915.

Fix typo in NOMINATIM_LOG_FILE (#2919)

* fix typo in docs (NOMINATIM_LOG_FILE uses s not ms)

Merge pull request #2916 from lonvia/faq-postcodes

Add FAQ about finding bad postcodes

add FAQ about finding bad postcodes

Merge pull request #2913 from lonvia/remove-duplicate-spaces-in-transliteration

contract duplicate spaces in transliteration string

contract duplicate spaces in transliteration string

There are some pathological cases where an isolated letter may
be deleted because it is in itself meaningless. If this happens in
the middle of a sentence, then the transliteration contains two
consecutive spaces. Add a final rule to fix this.

See #2909.

Merge pull request #2908 from n-timofeev/update-vagrantfile

Update Vagrantfile

Update Vagrantfile

Merge pull request #2906 from lonvia/move-data-dirs-into-module

Reorganize how Nominatim finds its extra data and libraries

clean up uses of cli.nominatim()

They should not hand in data paths anymore.

use data paths from new nominatim.paths

introduce paths module which contains the data paths

This means that nominatim can find its data even when not called
from the command line tool.

Merge pull request #2905 from lonvia/remove-nominatim-tool-var

Remove NOMINATIM_NOMINATIM_TOOL variable

remove NOMINATIM_NOMINATIM_TOOL variable

This was used by the old PHP scripts to call the Python tool.
With the scripts now gone, the variable can be removed.

actions: install keys for postgres repo

prepare release 4.2.0

add checklist for releases

Merge pull request #2903 from lonvia/migration-for-index-reorganization

Add migration for reorganization of pending indexes

add migration for reorganization of pending indexes

Fixes #2900.

Merge pull request #2902 from lonvia/tiger-county-sanitizer

Tiger county sanitizer

remove BDD test for tiger:county

We no longer rely on the import to strip the tag.

add sanitizer for TIGER tags

Currently only takes over cleaning the tiger:county data. This was
done by the import until now.

Merge pull request #2892 from lonvia/optional-forward-dependecies

Add experimental configuration switch for enabling forward dependencies

add experimental option for enabling forward dependencies

Merge pull request #2890 from lonvia/use-rank-search-for-reverse-polygon-match

Use rank search for reverse polygon match

force use of geometry index for reverse polygon lookup

use rank_search for reverse polygon match

fix condition under which place_to_be_deleted is created

It is needed for updates, independently if reverse-only is set.

Merge pull request #2889 from lonvia/fix-interpolation-updates

Drop illegal values for addr:interpolation on update

drop illegal values for addr:interpolation on update

Merge pull request #2887 from lonvia/lookup-linked-places

Add support for lookup of linked places

Merge pull request #2886 from lonvia/closest-street-in-associated

Handle associatedStreet relations with multiple streets correctly

add support for lookup of linked places

handle associatedStreet relations with multiple streets

When a associatedStreet relation has multiple street members
always take the closest one. Avoid geometry operations for
the frequent case that there is only one street.

Merge pull request #2884 from lonvia/tweak-special-term-penalties

Correctly handle special term + name combination

Merge pull request #2885 from lonvia/remove-unused-countries

Remove dependent territories from country list

correctly handle special term + name combination

Special terms with operator name usually appear in combination with the
name. The current penalties only took name + special term into account
not special term + name.

Fixes #2876.