split query that deletes old objects from placex

placex only has partial indexes over OSM types, so the OSM type
needs to be hardcoded to ensure these indexes are used.

Merge pull request #2932 from lonvia/rework-flex-framework

Switch to osm2pgsql flex output

remove old import styles

bdd: recreate project directory for every run

add tests for examples in lua style documentation

And fix all the errors the tests have found.

add documentation for flex style

Includes minor adaptions to bring the code in line with the
documentation.

Merge pull request #2931 from mtmail/vagrant-md-use-dotenv

VAGRANT.md - replace local.php settings with .env

VAGRANT.md - replace local.php settings with .env

use canonical url for nominatim.org

adapt tests for new lua styles

install new lua import scripts

switch to osm2pgsql flex style by default

flez: add other default styles

flex: hide compiled matchers

flex: switch to functions for substyles

This gives us a bit more flexibility about the implementation
in the future.

explicit export for functions in flex-base

flex: add combining clean function

flex: simplify name handling

flex: simplify address configuration

update osm2pgsql (flex not building index)

Merge pull request #2927 from lonvia/remove-forward-dependencies

Remove shortcut disabling forward dependencies

remove code that disables processing of forward dependencies

Merge pull request #2921 from lonvia/case-insensitive-utf8

Use grapheme_stripos instead of stripos in PHP code

use grapheme_stripos instead of stripos in PHP code

The stripos() does not handle non-ASCII correctly.

Merge pull request #2920 from lonvia/no-postcode-for-rivers

Do not assign postcodes to long linear features

do not assign postcodes to long linear features

This avoids a postcode in particular for waterway features and
long natural featues like ridges and valleys.

Fixes #2915.

Fix typo in NOMINATIM_LOG_FILE (#2919)

* fix typo in docs (NOMINATIM_LOG_FILE uses s not ms)

Merge pull request #2916 from lonvia/faq-postcodes

Add FAQ about finding bad postcodes

add FAQ about finding bad postcodes

Merge pull request #2913 from lonvia/remove-duplicate-spaces-in-transliteration

contract duplicate spaces in transliteration string

contract duplicate spaces in transliteration string

There are some pathological cases where an isolated letter may
be deleted because it is in itself meaningless. If this happens in
the middle of a sentence, then the transliteration contains two
consecutive spaces. Add a final rule to fix this.

See #2909.

Merge pull request #2908 from n-timofeev/update-vagrantfile

Update Vagrantfile

Update Vagrantfile

Merge pull request #2906 from lonvia/move-data-dirs-into-module

Reorganize how Nominatim finds its extra data and libraries

clean up uses of cli.nominatim()

They should not hand in data paths anymore.

use data paths from new nominatim.paths

introduce paths module which contains the data paths

This means that nominatim can find its data even when not called
from the command line tool.

Merge pull request #2905 from lonvia/remove-nominatim-tool-var

Remove NOMINATIM_NOMINATIM_TOOL variable

remove NOMINATIM_NOMINATIM_TOOL variable

This was used by the old PHP scripts to call the Python tool.
With the scripts now gone, the variable can be removed.

actions: install keys for postgres repo

prepare release 4.2.0

add checklist for releases

Merge pull request #2903 from lonvia/migration-for-index-reorganization

Add migration for reorganization of pending indexes

add migration for reorganization of pending indexes

Fixes #2900.

Merge pull request #2902 from lonvia/tiger-county-sanitizer

Tiger county sanitizer

remove BDD test for tiger:county

We no longer rely on the import to strip the tag.

add sanitizer for TIGER tags

Currently only takes over cleaning the tiger:county data. This was
done by the import until now.

Merge pull request #2892 from lonvia/optional-forward-dependecies

Add experimental configuration switch for enabling forward dependencies

add experimental option for enabling forward dependencies

Merge pull request #2890 from lonvia/use-rank-search-for-reverse-polygon-match

Use rank search for reverse polygon match

force use of geometry index for reverse polygon lookup

use rank_search for reverse polygon match

fix condition under which place_to_be_deleted is created

It is needed for updates, independently if reverse-only is set.

Merge pull request #2889 from lonvia/fix-interpolation-updates

Drop illegal values for addr:interpolation on update

drop illegal values for addr:interpolation on update

Merge pull request #2887 from lonvia/lookup-linked-places

Add support for lookup of linked places

Merge pull request #2886 from lonvia/closest-street-in-associated

Handle associatedStreet relations with multiple streets correctly

add support for lookup of linked places

handle associatedStreet relations with multiple streets

When a associatedStreet relation has multiple street members
always take the closest one. Avoid geometry operations for
the frequent case that there is only one street.

Merge pull request #2884 from lonvia/tweak-special-term-penalties

Correctly handle special term + name combination

Merge pull request #2885 from lonvia/remove-unused-countries

Remove dependent territories from country list

correctly handle special term + name combination

Special terms with operator name usually appear in combination with the
name. The current penalties only took name + special term into account
not special term + name.

Fixes #2876.

remove dependent territories from country list

Removes territories of US, France, Australia and Netherlands from the
country list. These territories have their own country code (which is
why they are in the list in the first place) but are mapped as part of
the admin_level 2 relations for the respective parent countries.
Therefore they never had any places attached. In practical terms, the
change only affects the number of tables created.

Merge pull request #2881 from lonvia/more-update-tests-for-osm2pgsql

Experimental support for osm2pgsql flex output

bdd: add tests for osm2pgsql update of postcode nodes

bdd: add osm2pgsql tests for updating interpolations

bdd: test placex content when updating with osm2pgsql

reorganize handling of place type changes

Always replace existing entries in place, never delete them because
a direct delete will cause conflicts.

fix country handling in flex style

If the country tag does not match a 2-letter code, it needs to
be dropped.

remove tests that differ between lua and gazetteer versions

node locations must be stable for osm2pgsql update tests

bdd: extend osm2pgsql update tests

Now also checks for correct indexing state of placex table.

optimise tag match function

add lua requirements for vagrant scripts

CI: require lua libraries

add migration for place_to_be_deleted table

change updates to handle delete/insert workflow

This makes Nominatim compatible with osm2pgsql's default update
modus operandi of deleting and reinserting data. Deletes are diverted
into a TODO table instead of executing them. When data is reinserted,
the corresponding entry in the TODO table is deleted. After updates are
finished, the remaining entries in the TODO table are executed, doing
the same work as the delete trigger did before.

The new behaviour also works against the gazetteer output with its
insert-only mechanism.

initial flex import scripts

Only implements the extratags style for the moment. Tests pass
for the same behaviour as the gazetteer output. Updates still need
to be done.

bdd tests: make import style configurable

The switch is for development. Tests are not guaranteed to still
work when run with anything but the 'extratags' style.

add osm2pgsql gazetteer tests

This ports the gazetteer tests from osm2pgsql to BDD tests.

Merge pull request #2869 from mtmail/improve-tiger-install-doc

Tiger install doc: add -refresh website- step

fix type issues with calls to pyosmium

Tiger install doc: add -refresh website- step

Merge pull request #2871 from lonvia/fix-timeout-for-updates

Fix timeout for updates

add types-requests dependency

respect socket timeout also in other replication functions

fix timeout use for replication timeout

The timeout parameter is no longer taken into account since
pyosmium switched to the requests library. This adds the parameter
back.

Merge pull request #2870 from mtmail/update-github-actions-to-node-16

update those github action packages still using node12

update those github action packages still using node12

Merge pull request #2866 from lonvia/reverse-ignore-interpolations-without-parent

Ignore interpolations without parent on reverse search

ignore interpolations without parent on reverse search

If no parent can be found for an interpolation, there is most
likely a data error involved. So don' t show these interpolations
in reverse search results.

Merge pull request #2865 from Romeo-PHILLIPS/fix/documentation_status_code

Fix: documentation status code

fix: format

fix: markup

fix: 705 Status Code Documentation

fix: 705 Status Code Documenation

Merge pull request #2862 from mtmail/remove-version-from-fpm-sock-file

Install scripts: remove version from /var/run/php-fpm filenames

Merge pull request #2863 from lonvia/add-support-for-postgresql-15

Update CI tests to postgresql 15

update CI tests to postgresql 15

Install scripts: remove version from /var/run/php-fpm filenames