bdd: reorganise field comparisons

Move comparision on Field values from assert_field() into a
comparator class. Replace BadRowValueAssert with a simpler
check_row() function.

bdd: use new check_for_attributes() function also in steps

bdd: fully check correctness of geojson and geocodejson

Parse code now checks presence of all required fields and exports
all fields for inspection.

bdd: remove OrderedDict

dicts are guaranteed to keep insertion order by since Python 3.7, making
use of ORderedDict mute.

Merge pull request #2993 from biswajit-k/delete-tags

Adds sanitizer for preventing certain tags to enter search index based on parameters

Adds sanitizer for preventing certain tags to enter search index based on parameters

fix: pylint error

added docs for delete tags sanitizer

fixed typos in docs and code comments

fix: python typechecking error

fixed rank address type

Revert "fixed typos in docs and code comments"

This reverts commit 6839eea755a87f557895f30524fb5c03dd983d60.

added default parameters and refactored code

added test for all parameters

Merge pull request #2999 from biswajit-k/fix-typos

fixed typos in docs and code comments

fixed typos in docs and code comments

add latest security incident

Also removes 3.6 which is no longer supported.

harmonize flags for PHP's htmlspecialchars

adapt PHP tests for debug output

properly encode special HTML characters in debug mode

Merge pull request #2986 from mtmail/add-more-languages-from-osm-wiki

sp_wiki_loader: add more default languages

sp_wiki_loader: add more default languages

add timestamp to debug SQL output

add warning for reverse index migration

Merge pull request #2985 from lonvia/fix-place-rank-inheritance

Restrict place rank inheritance to address items

restrict place rank inheritance to address items

Place tags must have no influence on street- or POI-level
objects.

Merge pull request #2983 from lonvia/improve-reverse-place-node-lookup

Improve reverse place node lookup

use reverse buffered index for search within country

speed up reverse lookup of place nodes

Add a special index that contains the place nodes buffered by their
respective area according to their search rank. This replaces the
maximum area search for place nodes and reduces drastically the number
of place nodes that need to be retrieved.

Merge pull request #2981 from lonvia/add-point-wkb-decoder

Python frontend: add a WKB decoder for the Point class

add a WKB decoder for the Point class

This allows to return point geometries from the database and makes
the SQL a bit simpler.

Merge pull request #2978 from lonvia/add-debug-view

Add debug view to Python API

add typing information for pygments to requirements

actions: use token to avoid rate limiting

add debug output for unit tests

This uses the debug output facility meant for pretty HTML output
to give us debugging output for the unit tests.

add HTML-formatted debug output to lookup

Merge pull request #2974 from bloom256/main-tag-in-reverse-lookup

Main tag information added to geocodejson in reverse geocoding

Merge pull request #2975 from bloom256/typo-fix

typo fixed

typo fixed

Main tag information added to geocodejson in reverse geocoding

Merge pull request #2970 from lonvia/add-details-endpoint

Python implementation of details endpoint

actions: force PHPUnit 9

PHPUnit 10 is incompatible with our tests. Not worth adapting anymore.

add tests for details result formatting and trim results

Values that are None are no longer included in the output to save
a bit of bandwidth.

expand details BDD tests

There are now minor differences in the output between PHP and
Python versions, so introduce specific tests.

implement details endpoint in Python servers

switch details cli command to new Python implementation

add lookup of postcdoe data

add lookup of tiger data

add lookup of address interpolations

fix new linting issues from pylint 2.16

add unit tests for lookup function

improve scaffolding for API unit tests

Use the static table definition to create the test database.
Add helper function to simplify filling the tables.

add lookup() call to the library API

Currently only looks places up in placex.

docs: fix internal links

Fixes #2968.

Merge pull request #2963 from lonvia/add-sqlalchemy-schema

Add table definitions for SQLAlchemy

add pytest-asyncio as a requirement for testing

add property cache for API

This caches results from querying nominatim_properties.

adapt annotations for SQLAlchemy 2.x

It is not possible to produce type annotations that work with both
versions 1.4 and 2.0. So keep to the principle of only supporting
newest versions when it comes to mypy. This means that some types
may have to be string quoted to not cause issues when running with
SQLAlchemy 1.4.

add new geoalchemy requirement

adapt status to use SQLAlchemy tables

convert StatusResult to a dataclass

This gives us nice str() functions.

add SQLAlchemy table schema for Nominatim tables

Also defines an extended connection object that includes access to
the table definitions. Makes it easier to access the tables from
code that has been split off into separate modules.

Merge pull request #2958 from lonvia/streaming-json-writer

Introduce streaming json writer for JSON output

add streaming json writer for JSON output

Merge pull request #2957 from lonvia/reorganise-api-module

Assorted improvements to the new api library module

allow to add php-compatible endpoints

If the new setting NOMINATIM_SERVE_LEGACY_URLS is set, the servers
expose the endpoints also with the .php suffix to ensure backwards
compatibility.

add support for CORS headers

Adds the additional dependency to sanic-cors for the Sanic server.

factor out common server implementation code

Most of the server implementation of V1 API now resides in
api.v1.server_glue. The webframeworks only supply some glue code
which is independent to changes in the API code.

reorganize code around result formatting

Code is now organized by api version. So formatting has moved to
the api.v1 module. Instead of holding a separate ResultFormatter
object per result format, simply move the functions to the
formater collector and hand in the requested format as a parameter.
Thus reorganized, the api.v1 module can export three simple functions
for result formatting which in turn makes the code that uses
the formatters much simpler.

reorganize api submodule

Use a directory for the submodule where the __init__ file contains
the public API. This makes it easier to separate public interface
from the internal implementation.

api: delay setup of initial database connection

Defer database setup until the first call to a function. Needs an
additional lock because the setup still needs to be done sequentially.

Merge pull request #2955 from lonvia/fix-importance-refresh

Fix importance recalculation

Merge pull request #2954 from lonvia/remove-comma-as-separator

Remove comma as name separator

fix importance recalculation

The signature of the compute_importance() function has changed.

remove comma as name separator

Commas are most of the time used as a part of a name, not to
separate multiple names.

See also #2950.

exclude names ending in :wikipedia from indexing

The wikipedia prefix is used for referencing a wikipedia article
for the given tag, not the object, so not useful to search.

fix typo in argument to details CLI command

Fixes #2951.

update Makefile in test directory

Merge pull request #2940 from lonvia/remove-ubuntu-18-from-actions

Actions: use Ubuntu 20 image for testing old versions of dependent software

increase minimum required version of PHP to 7.3

Other versions are not tested anymore.

actions: move tests from Ubuntu 18 to 20

These are the tests that try to make sure old library version really
still work as expected. Increases PHP to 7.3 because 7.2 has errors.

do not run osm2pgsql append with mutliple threads

As the updates modify the placex table, there may be deadlocks
when different objects want to forward modifications to the same
place (for example because they are both linked to it).

Merge pull request #2937 from lonvia/python-server-stub

Scaffolding for new Python-based search frontend

Merge pull request #2856 from t-tomek/patch-1

Update DB.php

no type checking on old Ubuntu 18

add event handler for default connection settings

update versions for Python packages

drop official support for Ubuntu 18

drop support for Python 3.6

update dependencies for Actions

convert version to named tuple

Also return the new NominatimVersion rather than a string in the
status result.

fix error message for non-existing database

add unit tests for new Python API

docs: extend dependency documentation

extend BDD API tests to query via Python frameworks

A new config option ENGINE allows to choose between php and any of the
supported Python engines.

fix liniting issues and add type annotations

add support for starlette framework

add support for falcon as server framework

add sanic development server implementation

implement command line status call in Python

Merge pull request #2936 from lonvia/fix-query-for-index-use

Split query that deletes old objects from placex

split query that deletes old objects from placex

placex only has partial indexes over OSM types, so the OSM type
needs to be hardcoded to ensure these indexes are used.

Merge pull request #2932 from lonvia/rework-flex-framework

Switch to osm2pgsql flex output

Update DB.php

remove old import styles

bdd: recreate project directory for every run

add tests for examples in lua style documentation

And fix all the errors the tests have found.

add documentation for flex style

Includes minor adaptions to bring the code in line with the
documentation.