add FAQ about finding bad postcodes

Merge pull request #2913 from lonvia/remove-duplicate-spaces-in-transliteration

contract duplicate spaces in transliteration string

contract duplicate spaces in transliteration string

There are some pathological cases where an isolated letter may
be deleted because it is in itself meaningless. If this happens in
the middle of a sentence, then the transliteration contains two
consecutive spaces. Add a final rule to fix this.

See #2909.

Merge pull request #2908 from n-timofeev/update-vagrantfile

Update Vagrantfile

Update Vagrantfile

Merge pull request #2906 from lonvia/move-data-dirs-into-module

Reorganize how Nominatim finds its extra data and libraries

clean up uses of cli.nominatim()

They should not hand in data paths anymore.

use data paths from new nominatim.paths

introduce paths module which contains the data paths

This means that nominatim can find its data even when not called
from the command line tool.

Merge pull request #2905 from lonvia/remove-nominatim-tool-var

Remove NOMINATIM_NOMINATIM_TOOL variable

remove NOMINATIM_NOMINATIM_TOOL variable

This was used by the old PHP scripts to call the Python tool.
With the scripts now gone, the variable can be removed.

actions: install keys for postgres repo

prepare release 4.2.0

add checklist for releases

Merge pull request #2903 from lonvia/migration-for-index-reorganization

Add migration for reorganization of pending indexes

add migration for reorganization of pending indexes

Fixes #2900.

Merge pull request #2902 from lonvia/tiger-county-sanitizer

Tiger county sanitizer

remove BDD test for tiger:county

We no longer rely on the import to strip the tag.

add sanitizer for TIGER tags

Currently only takes over cleaning the tiger:county data. This was
done by the import until now.

Merge pull request #2892 from lonvia/optional-forward-dependecies

Add experimental configuration switch for enabling forward dependencies

add experimental option for enabling forward dependencies

Merge pull request #2890 from lonvia/use-rank-search-for-reverse-polygon-match

Use rank search for reverse polygon match

force use of geometry index for reverse polygon lookup

use rank_search for reverse polygon match

fix condition under which place_to_be_deleted is created

It is needed for updates, independently if reverse-only is set.

Merge pull request #2889 from lonvia/fix-interpolation-updates

Drop illegal values for addr:interpolation on update

drop illegal values for addr:interpolation on update

Merge pull request #2887 from lonvia/lookup-linked-places

Add support for lookup of linked places

Merge pull request #2886 from lonvia/closest-street-in-associated

Handle associatedStreet relations with multiple streets correctly

add support for lookup of linked places

handle associatedStreet relations with multiple streets

When a associatedStreet relation has multiple street members
always take the closest one. Avoid geometry operations for
the frequent case that there is only one street.

Merge pull request #2884 from lonvia/tweak-special-term-penalties

Correctly handle special term + name combination

Merge pull request #2885 from lonvia/remove-unused-countries

Remove dependent territories from country list

correctly handle special term + name combination

Special terms with operator name usually appear in combination with the
name. The current penalties only took name + special term into account
not special term + name.

Fixes #2876.

remove dependent territories from country list

Removes territories of US, France, Australia and Netherlands from the
country list. These territories have their own country code (which is
why they are in the list in the first place) but are mapped as part of
the admin_level 2 relations for the respective parent countries.
Therefore they never had any places attached. In practical terms, the
change only affects the number of tables created.

Merge pull request #2881 from lonvia/more-update-tests-for-osm2pgsql

Experimental support for osm2pgsql flex output

bdd: add tests for osm2pgsql update of postcode nodes

bdd: add osm2pgsql tests for updating interpolations

bdd: test placex content when updating with osm2pgsql

reorganize handling of place type changes

Always replace existing entries in place, never delete them because
a direct delete will cause conflicts.

fix country handling in flex style

If the country tag does not match a 2-letter code, it needs to
be dropped.

remove tests that differ between lua and gazetteer versions

node locations must be stable for osm2pgsql update tests

bdd: extend osm2pgsql update tests

Now also checks for correct indexing state of placex table.

optimise tag match function

add lua requirements for vagrant scripts

CI: require lua libraries

add migration for place_to_be_deleted table

change updates to handle delete/insert workflow

This makes Nominatim compatible with osm2pgsql's default update
modus operandi of deleting and reinserting data. Deletes are diverted
into a TODO table instead of executing them. When data is reinserted,
the corresponding entry in the TODO table is deleted. After updates are
finished, the remaining entries in the TODO table are executed, doing
the same work as the delete trigger did before.

The new behaviour also works against the gazetteer output with its
insert-only mechanism.

initial flex import scripts

Only implements the extratags style for the moment. Tests pass
for the same behaviour as the gazetteer output. Updates still need
to be done.

bdd tests: make import style configurable

The switch is for development. Tests are not guaranteed to still
work when run with anything but the 'extratags' style.

add osm2pgsql gazetteer tests

This ports the gazetteer tests from osm2pgsql to BDD tests.

Merge pull request #2869 from mtmail/improve-tiger-install-doc

Tiger install doc: add -refresh website- step

fix type issues with calls to pyosmium

Tiger install doc: add -refresh website- step

Merge pull request #2871 from lonvia/fix-timeout-for-updates

Fix timeout for updates

add types-requests dependency

respect socket timeout also in other replication functions

fix timeout use for replication timeout

The timeout parameter is no longer taken into account since
pyosmium switched to the requests library. This adds the parameter
back.

Merge pull request #2870 from mtmail/update-github-actions-to-node-16

update those github action packages still using node12

update those github action packages still using node12

Merge pull request #2866 from lonvia/reverse-ignore-interpolations-without-parent

Ignore interpolations without parent on reverse search

ignore interpolations without parent on reverse search

If no parent can be found for an interpolation, there is most
likely a data error involved. So don' t show these interpolations
in reverse search results.

Merge pull request #2865 from Romeo-PHILLIPS/fix/documentation_status_code

Fix: documentation status code

fix: format

fix: markup

fix: 705 Status Code Documentation

fix: 705 Status Code Documenation

Merge pull request #2862 from mtmail/remove-version-from-fpm-sock-file

Install scripts: remove version from /var/run/php-fpm filenames

Merge pull request #2863 from lonvia/add-support-for-postgresql-15

Update CI tests to postgresql 15

update CI tests to postgresql 15

Install scripts: remove version from /var/run/php-fpm filenames

actions: pin pyicu to 2.9

Merge pull request #2836 from mtmail/tiger2022

Documentation: remove year from TIGER filename, new 2022 data

Merge pull request #2838 from lonvia/update-osm2pgsql

Update osm2pgsql to latest 1.7.1 release

fix flaky API test

The search 'landstr' produces many duplicates so that with
some bad luck 4 or less results may appear. Disable deduplication
to make it more predictable.

update osm2pgsql to 1.7.1

Merge pull request #2835 from lonvia/secondary-importance

Secondary importance

Documentation: remove year from TIGER filename

docs: add customization hints for secondary importance

Removing the download links for now as the tile importance
is still too experimental.

do not run unit test when postgis_raster is not available

adapt unit tests to changed function names

add secondary importance to API BDD tests

Also fixes a path issue during API test DB creation that could
never possibly have worked.

simplify use of secondary importance

The values in the raster are already normalized between 0 and 2**16,
so a simple conversion to [0, 1] will do.

Check for existance of secondary_importance table statically when
creating the SQL function. For that to work importance tables need
to be created before the functions.

load views as a SQL file and rename to 'secondary importance'

The only requirement for secondary importance is that a raster table
comes out of it. The generic name leaves open where the data comes
from.

Integrated OSM views into importance computation

Enhanced the implementation of OSM views GeoTIFF import functionality

Initial implementation of GeoTIFF import functionality

Merge pull request #2832 from lonvia/conditional-analyze-on-indexing

Only run analyze on indexing when work was done

only run analyze on indexing when work was done

This speeds up processing when continuing indexing after it was
interrupted.

Merge pull request #2829 from lonvia/optimize-indexes

Further optimize indexes

make sure indexes are used

further split up the big geometry index

Adds partial indexes for all geometry queries used during import.
A full index is not necessary anymore at that point. Still create
the index afterwards for use in queries.

Also adds documentation for all indexes on where they are used.

consolidate indexes over geometry_sectors

The index over geometry_sectors are mainly used for ordering
the places which need indexing. That means they function effectively
as a TODO list. Consolodate them so that they always only contain
the places which are still to do. Also add the appropriate index
for the boundary indexing phase.

split up large osmid index on placex

This doesn't do anything in terms of lookup speeds but the resulting
indexes are quite a bit smaller.

fix funding link

add Github Sponsering to funding page

run final index creation in parallel

add function for parallel execution of SQL scripts

add link to funding page