Merge pull request #2885 from lonvia/remove-unused-countries

Remove dependent territories from country list

remove dependent territories from country list

Removes territories of US, France, Australia and Netherlands from the
country list. These territories have their own country code (which is
why they are in the list in the first place) but are mapped as part of
the admin_level 2 relations for the respective parent countries.
Therefore they never had any places attached. In practical terms, the
change only affects the number of tables created.

Merge pull request #2881 from lonvia/more-update-tests-for-osm2pgsql

Experimental support for osm2pgsql flex output

bdd: add tests for osm2pgsql update of postcode nodes

bdd: add osm2pgsql tests for updating interpolations

bdd: test placex content when updating with osm2pgsql

reorganize handling of place type changes

Always replace existing entries in place, never delete them because
a direct delete will cause conflicts.

fix country handling in flex style

If the country tag does not match a 2-letter code, it needs to
be dropped.

remove tests that differ between lua and gazetteer versions

node locations must be stable for osm2pgsql update tests

bdd: extend osm2pgsql update tests

Now also checks for correct indexing state of placex table.

optimise tag match function

add lua requirements for vagrant scripts

CI: require lua libraries

add migration for place_to_be_deleted table

change updates to handle delete/insert workflow

This makes Nominatim compatible with osm2pgsql's default update
modus operandi of deleting and reinserting data. Deletes are diverted
into a TODO table instead of executing them. When data is reinserted,
the corresponding entry in the TODO table is deleted. After updates are
finished, the remaining entries in the TODO table are executed, doing
the same work as the delete trigger did before.

The new behaviour also works against the gazetteer output with its
insert-only mechanism.

initial flex import scripts

Only implements the extratags style for the moment. Tests pass
for the same behaviour as the gazetteer output. Updates still need
to be done.

bdd tests: make import style configurable

The switch is for development. Tests are not guaranteed to still
work when run with anything but the 'extratags' style.

add osm2pgsql gazetteer tests

This ports the gazetteer tests from osm2pgsql to BDD tests.

Merge pull request #2869 from mtmail/improve-tiger-install-doc

Tiger install doc: add -refresh website- step

fix type issues with calls to pyosmium

Tiger install doc: add -refresh website- step

Merge pull request #2871 from lonvia/fix-timeout-for-updates

Fix timeout for updates

add types-requests dependency

respect socket timeout also in other replication functions

fix timeout use for replication timeout

The timeout parameter is no longer taken into account since
pyosmium switched to the requests library. This adds the parameter
back.

Merge pull request #2870 from mtmail/update-github-actions-to-node-16

update those github action packages still using node12

update those github action packages still using node12

Merge pull request #2866 from lonvia/reverse-ignore-interpolations-without-parent

Ignore interpolations without parent on reverse search

ignore interpolations without parent on reverse search

If no parent can be found for an interpolation, there is most
likely a data error involved. So don' t show these interpolations
in reverse search results.

Merge pull request #2865 from Romeo-PHILLIPS/fix/documentation_status_code

Fix: documentation status code

fix: format

fix: markup

fix: 705 Status Code Documentation

fix: 705 Status Code Documenation

Merge pull request #2862 from mtmail/remove-version-from-fpm-sock-file

Install scripts: remove version from /var/run/php-fpm filenames

Merge pull request #2863 from lonvia/add-support-for-postgresql-15

Update CI tests to postgresql 15

update CI tests to postgresql 15

Install scripts: remove version from /var/run/php-fpm filenames

actions: pin pyicu to 2.9

Merge pull request #2836 from mtmail/tiger2022

Documentation: remove year from TIGER filename, new 2022 data

Merge pull request #2838 from lonvia/update-osm2pgsql

Update osm2pgsql to latest 1.7.1 release

fix flaky API test

The search 'landstr' produces many duplicates so that with
some bad luck 4 or less results may appear. Disable deduplication
to make it more predictable.

update osm2pgsql to 1.7.1

Merge pull request #2835 from lonvia/secondary-importance

Secondary importance

Documentation: remove year from TIGER filename

docs: add customization hints for secondary importance

Removing the download links for now as the tile importance
is still too experimental.

do not run unit test when postgis_raster is not available

adapt unit tests to changed function names

add secondary importance to API BDD tests

Also fixes a path issue during API test DB creation that could
never possibly have worked.

simplify use of secondary importance

The values in the raster are already normalized between 0 and 2**16,
so a simple conversion to [0, 1] will do.

Check for existance of secondary_importance table statically when
creating the SQL function. For that to work importance tables need
to be created before the functions.

load views as a SQL file and rename to 'secondary importance'

The only requirement for secondary importance is that a raster table
comes out of it. The generic name leaves open where the data comes
from.

Integrated OSM views into importance computation

Enhanced the implementation of OSM views GeoTIFF import functionality

Initial implementation of GeoTIFF import functionality

Merge pull request #2832 from lonvia/conditional-analyze-on-indexing

Only run analyze on indexing when work was done

only run analyze on indexing when work was done

This speeds up processing when continuing indexing after it was
interrupted.

Merge pull request #2829 from lonvia/optimize-indexes

Further optimize indexes

make sure indexes are used

further split up the big geometry index

Adds partial indexes for all geometry queries used during import.
A full index is not necessary anymore at that point. Still create
the index afterwards for use in queries.

Also adds documentation for all indexes on where they are used.

consolidate indexes over geometry_sectors

The index over geometry_sectors are mainly used for ordering
the places which need indexing. That means they function effectively
as a TODO list. Consolodate them so that they always only contain
the places which are still to do. Also add the appropriate index
for the boundary indexing phase.

split up large osmid index on placex

This doesn't do anything in terms of lookup speeds but the resulting
indexes are quite a bit smaller.

fix funding link

add Github Sponsering to funding page

run final index creation in parallel

add function for parallel execution of SQL scripts

add link to funding page

Merge pull request #2818 from lonvia/better-geometry-index

Add index for lookup of addressable areas

add indexes for lookup of addressable areas

The generic geometry index has become to slow for that purpose.

update security policy for 4.1 version

mypy: fix new warnings due to external type updates

Merge pull request #2812 from mausch/patch-1

docs: fix links to rank docs

docs: fix links to rank docs

Merge pull request #2799 from lonvia/fix-inclusions-with-extratags

Ignore irrelevant extra tags on address interpolations

Merge pull request #2739 from tareqpi/collect_os_info.sh

integration of host system information script into Nominatim CLI tool

ignore irrelevant extra tags on address interpolations

When deciding if an address interpolation has address information, only
look for addr:street and addr:place. If they are not there go looking
for the address on the address nodes. Ignores irrelevant tags like
addr:inclusion.

Fixes #2797.

Added the feature of collecting host system information to the CI tests

Integrated 'collect_os_info.py' into Nominatim's CLI tool

Enhanced and refactored 'collect_os_info.py'

Changed the script to functional programming paradigm to remove the big number of local attributes to decrease memory usage when running it. Additional OS info are now included.

Merge remote-tracking branch 'upstream/master' into collect_os_info.sh

Merge pull request #2798 from lonvia/more-rank-change-fixes

Invalidations when boundaries and places change their rank

more invalidations when boundary changes rank

When a boundary or place changes its address rank, all places where
it participates as address need to be potentially reindexed.
Also use the computed rank when testing place nodes against
boundaries. Boundaries are computed earlier.

Fixes #2794.

Merge pull request #2793 from lonvia/increase-minimum-results

Fix minimum number of results that are searched for

fix base number of returned results

The intent was to always search for at least 10 results.

Improves on #882.

Merge pull request #2792 from lonvia/new-type-annotations

Adapt to new type annotations from typeshed

adapt to new type annotations from typeshed

Some more functions frrom psycopg are now properly annotated.
No ignoring necessary anymore.

docs: add types-psutil requirement

remove mypy ignore for psutil.virtual_memory()

Now available in typeshed.

Merge pull request #2789 from lonvia/update-osm2pgsql

Update osm2pgsql (fixes admin_level parsing)

update osm2pgsql (fix admin_level parsing)

docs: fix dangling links

docs: update links to vagrant instructions

prepare release 4.1.0

Merge pull request #2786 from lonvia/export-centroid-for-tokenizer

Export centroid to tokenizer

export centroid to tokenizer

May come in handy when developping sanitizers for an area smaller
than country size.

Merge pull request #2784 from lonvia/doscs-customizing-icu-tokenizer

Document the public API of sanitizers and token analysis modules

fix various typos

add simple examples of sanitizers and token analysis

overhaul the token analysis interface

The functional split betweenthe two functions is now that the
first one creates the ID that is used in the word table and
the second one creates the variants. There no longer is a
requirement that the ID is the normalized version. We might
later reintroduce the requirement that a normalized version be available
but it doesn't necessarily need to be through the ID.

The function that creates the ID now gets the full PlaceName. That way
it might take into account attributes that were set by the sanitizers.

Finally rename both functions to something more sane.

move PlaceName into the generic data module