Merge pull request #2614 from lonvia/reorganise-country-names

Reorganise handling of country names imported from OSM

add migration to add new derived_names column

add tests for country updates

bdd: run full import on tests

This uncovered a couple of outdated/wrong tests which have been
fixed, too.

country_name: use separate columns for names from OSM

This allows us to distinguish between base names and imported ones
and consiquently removing imported ones if necessary.

delete unused country name tokens

update supported versions

add 'healthcare' as main tag

Given that the tag is most of the time duplicated by an amenity
tag which is already imported, only import it as a fallback when
there is no name.

Fixes #2609.

create idx_place_interpolations for import already

It is needed to look up if a node is part of an interpolation.

Fixes #2608.

Merge pull request #2603 from lonvia/one-step-housenumber-search

One step housenumber search

add test that interpolations are found by odd/even

make sure step is taken into account for interpolations

include houseumber search in name query

The name query already looks for the existence of housenumbers and
may as well retrive them. Saves up to threee additional lookups.
It also means that we can lift the restriction on looking
for existance of housenumbers for simple queries only.

disable debug message in interpolation processing

Merge pull request #2602 from lonvia/filter-bad-housenumbers

Handle mistagged housenumbers like names

liniting: disable too-many-ancestors

This is triggered by UserDict which is meant of deriving.

add tests for housenumber-as-name feature

add tests for get_string_list()

Renaming test file for sanitizer config because pytest requires
unique names for test files.

sanitizer: move helpers into a configuration class

implement is-a-name option for housenumbers

Merge pull request #2598 from geofabrik/doc-update-systemd-timer

Document how to set up systemd timers for --once updates

really remove CentOS from CI

remove CentOS from CI

The CentOS docker image no longer works after CentOS8 went EOL.
See #2601 for discussion.

Merge pull request #2599 from StephanGeorg/patch-1

Fixed link

Fixed link

Document how to set up systemd timers for --once updates

restrict change propagation to interpolation lines

Also means that Postgresql will use the right index for the query.

Merge pull request #2597 from lonvia/reorganise-interpolations

Reorganise interpolation code

Merge pull request #2596 from lonvia/remove-codecov

Remove codecov

remove tests for closest housenumber function

php unit tests don't work on ubuntu 18

remove codecov

Causes more trouble than doing good.

raise PostgreSQL requirement to 9.6

The new code uses the open-ended array notation which is only
available sind psql 9.6.

use new tiger step column for queries

add step column to tiger data table

This replaces the interpolationtype column.

add migration for upcoming change to tiger tables

adapt frontend to new interpolation table layout

adapt BDD tests for new interpolation style

inherit tags from interpolation not parent

Nodes on an interpolation now only get the address tags of
interpolations and then compute their own parent from that. They no
longer inherit the parent directly.

add migration for new interpolation table layout

add migration for new lookup index

optimize indexes for interpolation lines

Do not index 'inactive' rows (with startnumber is null) where possible.

improve handling von updates on nodes in interpolations

Use the same update mechanism as for updates on the interpolations
themselves. Updates must solely happen in place_insert as this is
the place where actual changes of the data happen.

update interpolations instead of deleting and recreating

Merge pull request #2595 from nslxndr/fix-doc-typos

Fix typos in UI doc

Fix typos in UI doc

Merge pull request #2594 from lonvia/update-osm2pgsql

Update to osm2pgsql 1.6.0

update to osm2pgsql 1.6.0

Merge pull request #2591 from lonvia/cleanup-place-insert

Reorganise code of place_insert() trigger

reorganise place_insert trigger

Code cleanup and formatting as well as minor improvements, in
particular removal of unnecessary code.

Merge pull request #2589 from lonvia/clean-housenumbers

Add command for cleaning up word table

add tests for cleaning housenumbers

do not clean housenumbers in reverse-only mode

add actual removal of housenumber tokens

add new command for cleaning word tokens

Just pulls outdated housenumbers for the moment.

Merge pull request #2588 from lonvia/housenumber-sanitizer

Move housenumber parsing into sanitizer

adapt ICU tets to new housenumber sanitizer

Restrict tests to making sure that handing in multiple housenumbers
works.

fix linting issues

complete documentation for new clean-houseunubmers sanatizer

generalize filter-kind parameter for sanatizers

Now behaves the same for tag_analyzer_by_language and
clean_housenumbers. Adds tests.

add pytest config

We are using custom marks now which need to be registered to avoid
warnings.

clean_housenumbers: make kinds and delimiters configurable

Also adds unit tests for various options.

factor out housenumber splitting into sanitizer

Merge pull request #2585 from lonvia/name-mutations

Introduce character mutations to token analysis

docs: add pointer to caddy deployment discussion

fix linting error

move parsing of mutation config to setup phase

add documentation for new mutation feature

introduce mutation variants to generic token analyser

Mutations are regular-expression-based replacements that are applied
after variants have been computed. They are meant to be used for
variations on character level.

Add spelling variations for German umlauts.

move variant configuration reading in separate file

refactor variant production to use generators

Merge pull request #2578 from lonvia/iso-3166-2

Make ISO3166-2 references searchable

Merge pull request #2579 from geofabrik/doc-update-typo

Fix typo in name of service. The rest of the docs call it nominatim-updateS

Fix typo in name of service. The rest of the docs call it nominatim-updateS

make ISO3166-2 references searchable

Merge pull request #2571 from lonvia/ukrainian-apostrophe

Consider "modifier letter apostrophe" to be punctuation

consider "modifier letter apostrophe" to be punctuation

While technically being a letter, the apostrophe is often replaced
with a normal apostrophe in writing which is a punctuation mark.
This makes sure that the modifier letter apostrophe yields the same
normalization results and thus is really interchangable.

Only has an effect after the next reimport.

Fixes #2569.

Merge pull request #2570 from woodpeck/patch-3

Fix typos

Fix typos

Merge pull request #2565 from lonvia/swap-wordset-order

Swap order of query interpretation

swap order of query interpretation

A forward interpretation of the form 'street, city, country' is
much more frequent than the reverse form 'country, city, street'.
Thus swap the order of interpretations that the forward order comes
first.

Merge pull request #2562 from lonvia/copyright-headers

Add consistent copyright headers

add consistent SPDX copyright headers

Merge pull request #2559 from lonvia/disable-jit-in-queries

Disable JIT and parallel workers on search frontend

disable JIT and parallel workers on search frontend

Bad query planning now also interferes with queries for search and
reverse.

Merge pull request #2553 from lonvia/revert-street-matching-to-full-names

Revert street matching to full names

correctly match abbreviated addr:street

This only works when addr:street is abbreviated and the street
name isn't. It does not work the other way around.

Merge pull request #2542 from lonvia/update-phpunit

Update PHPUnit use to 9.5

restrict PHPUnit to 9.5 version

There are so many breaking changes with PHPUnit that it is
impossible to give any other guarantees.

enable PHPUnit 9 for coverage

A couple of functions have been renamed.

php unit: replace deprecated regex assert

The regEx assertion has been renamed in PHPUnit 9.5
and causes deprecation warnings.

php unit: don't enforce a name on the test database

Also gets rid of a PHPUnit deprecation warning.

php test: class must be called like the file

disable codecov

Not working.

Merge pull request #2540 from lonvia/remove-support-for-centos7

Remove installation instructions for CentOS 7

remove installation instructions for CentOS 7

This ends official support for CentOS 7.

remove some odd varaints of addr:street from the styles

Some import has added names in partial tags which confuse the
street name matching.

skip most addr: tags with suffixes

Only one addr: tag can be processed currently, so make
sure it is the one without suffixes to not get odd data.
addr:street is the exception because it uses a different
matching mechanism.

ICU: matching any street name will do again

revert to using full names for street name matching

Using partial names turned out to not work well because there are
often similarly named streets next to each other. It also
prevents us from being able to take into account all addr:street:*
tags.

This change gets all the full term tokens for the addr:street tags
from the DB. As they are used for matching only, we can assume that
the term must already be there or there will be no match. This
avoid creating unused full name tags.