Merge pull request #2517 from lonvia/transliteration-special-chars

ICU: avoid non-alphanumerical characters in transliteration

make sure housenumbers are properly quoted

avoid special characters in word tokens

Transliteration should only consist of ASCII letters
and numbers. Avoid any other characters.

Merge pull request #2516 from lonvia/test-for-website-dir

Better error reporting when API script does not exist

better error reporting when API script does not exist

Check if the API script exists on the expected location before
running php-cli. This way we can add a useful hint about the
project directory.

Fixes #2513.

Merge pull request #2511 from lonvia/fix-combination-error-needs-address

Fix boolean combination of NeedsAddress flag

fix combination of NeedsAddress flag

When dealing with multiple partial terms, only keep the
flag, when all partial terms are so frequent as to need
an address.

Fixes #2510.

prepare release 4.0.0

fix typo

Merge pull request #2502 from lonvia/improve-development-documentation

Extend developer's documentation

docs: add overview over indexing

docs: section about database layout

Replaces the import description which basically was
table layout only now.

Merge pull request #2498 from lonvia/ordering-for-unlisted-place-results

Include unlisted places in ordering by housenumber

Merge pull request #2497 from lonvia/docs-maintenance

docs: add new maintenance section

include unlisted places in ordering by housenumber

When ordering results by the fact that they have a housenumber,
also take cases into account where the housenumber is on the
place itself. This may happen when the search includes the name
of the place and the housenumber or for addr:place addresses
where the place is unlisted.

docs: add new maintenance section

currently used for postcode updates, word count updates and
deleted relations.

Merge pull request #2495 from lonvia/fix-normalization-in-php

ICU: use correct normalization during search

ICU: use normalization from config in PHP

The TERM_NORMALIZATION config option is no longer applicable.
That was already documented but not yet implemented.

bdd: add tests for non-latin scripts

Merge pull request #2493 from lonvia/handle-frequent-partials

Tune search queries with frequent partial words

adapt BDD tests to stricter partial search

do not count words when in reverse-only mode

further refactor setup to keep function small

searches for house numbers must have an address

disallow search for partials without address

Very frequent partial terms take too long to look up and
do not return any valuable results unless the search is
further narrowed down by an address.

make word count computation part of the import

Accurate word counts are now essential when using
the ICU tokenizer and don't hurt for the legacy one.

Adds about an hour import time.

actions: move ICU tests into its own run

Merge pull request #2486 from lonvia/fix-special-phrases

Fix parsing of operator in special phrases

ICU: add an index over word_ids

Needed for keyword lookup in the details response.

be case-insensitve about special phrase operator

fix parsing of operator in special phrases

Because of unstripped input, the operators wouldn't match.

Merge pull request #2484 from lonvia/fix-index-use

Reverse: add index hints

Merge pull request #2483 from lonvia/fix-warming

Fix warming for ICU tokenizer

reverse: add index hints

The fairly complex where condition of idx_placex_geometry_placenode
won't always be matched by the query planner if the condition
part doesn't appear verbatim in the query.

Fixes #2480.

fix warming for ICU tokenizer

Running the warm-up search requests requires querying
the most frequent words. This must be done via the tokenizer
to honor the different formats of the word table.

allow relative paths for log files

Merge pull request #2476 from lonvia/harmonize-configuration-file-settings

Standardize handling of file names in configuration values

allow relative paths for flatnode file

switch IMPORT_STYLE to use generic file search

Allows relative paths wrt project directory.

have ADDRESS_LEVEL_CONFIG use load_sub_configuration

This means that relative paths now are looked up in the
project directory.

replace NOMINATIM_PHRASE_CONFIG with command line option

doc: clarify relative paths for tokenizer config

Merge pull request #2475 from lonvia/catchup-mode

Add catch-up mode to replication and extend documentation for updating

extend documentation for updating database

Explains the different modes and adds hints for
setting up a systemd job.

add new replication mode catch-up

This mode gets updates until the server reports no new diffs
anymore.

Also adds additional indexing, when the main indexing step left
a couple of objects to process. This happens only when the
next update is expected to be more than 40min away.

run Tiger import with parallel threads per default

Merge pull request #2472 from lonvia/word-count-computation

Fix word count computation for ICU tokenizer

adapt tests for new word count mechanism

icu: no longer precompute terms

The ICU analyzer no longer drops frequent partials, so it is no
longer necessary to know the frequencies in advance.

make word recount a tokenizer-specific function

Merge pull request #2471 from lonvia/update-install-rules

Reorganise, update and extend documentation

docs: fix more links

docs: refer to our new Settings chapter in the import instruchtions

check and fix all liks in documentation

add extended documentation of settings

docs: update overview pages

docs: move place ranking into customization part

docs: nominatim-ui has a new place for custom config

docs: move import style description to customize section

docs: make customization chapter a separate section

fix typo

docs: remove the development warning for ICU tokenizer

docs: add a warning about using --no-updates with TIGER data

update and extend man page

Provide extended descriptions for most subcommands.

rename manual directory to man

Avoids confusion between 'docs' and 'manual'.

add munin scipts and ICU subrules to installation

Merge pull request #2469 from lonvia/fix-tablespace-assignment

Fix template expressions for tablespaces

fix template expressions for tablespaces

Merge pull request #2450 from mtmail/tiger-data-2021

US TIGER data 2021 released

Merge pull request #2465 from lonvia/use-spgist-index

Use SP-GIST for building index

remove outdated country_languages.php

add recommendation for Postgis 3+

use SP-GIST index for building index where available

Point-in-polygon queries are much faster with a SP-GIST geometry
index, so use that for the index used to check if a housenumber
is inside a building.

Only available with Postgis 3. There is an automatic fallback to
GIST for Postgis 2.

Merge pull request #2460 from lonvia/multiple-analyzers

Add support for multiple token analyzers

add documentation for new configuration of ICU tokenizer

fix argument description for check_database

reorganize and complete tests around generic token analysis

add tests for sanitizer tagging language

apply variants by languages

Adds a tagger for names by language so that the analyzer of that
language is used. Thus variants are now only applied to names
in the specific language and only tag name tags, no longer to
reference-like tags.

use analyser provided in the 'analyzer' property

Implements per-name choice of analyzer. If a non-default
analyzer is choosen, then the 'word' identifier is extended
with the name of the ana;yzer, so that we still have unique
items.

remove support for properties on variants

Those are not going to be used in the near future, so no need to
carry that code around just now.

precompute replacements while loading configuration

move parsing of token analysis config to analyzer

Adds a second callback for the analyzer which is responsible
for parsing the configuration rules and converting it to
whatever format necessary. This way, each analyzer implementation
can define its own configuration rules.

make token analyzers configurable modules

Adds a mandatory section 'analyzer' to the token-analysis entries
which define, which analyser to use. Currently there is exactly
one, generic, which implements the former ICUNameProcessor.

extend ICU config to accomodate multiple analysers

Adds parsing of multiple variant lists from the configuration.
Every entry except one must have a unique 'id' paramter to
distinguish the entries. The entry without id is considered
the default. Currently only the list without an id is used
for analysis.

move flatten_config_list into config module

For general usage by other modules.

Merge pull request #2458 from lonvia/add-tokenizer-preprocessing

Add a "sanitation" step for name and address tags before token processing

replace test variable for PG env tests

'tty' was removed in PG14 and causes an error.

add unit tests for new sanatizer functions

introduce sanitizer step before token analysis

Sanatizer functions allow to transform name and address tags before
they are handed to the tokenizer. Theses transformations are visible
only for the tokenizer and thus only have an influence on the
search terms and address match terms for a place.

Currently two sanitizers are implemented which are responsible for
splitting names with multiple values and removing bracket additions.
Both was previously hard-coded in the tokenizer.

unify ICUNameProcessorRules and ICURuleLoader

There is no need for the additional layer of indirection that
the ICUNameProcessorRules class adds. The ICURuleLoader can
fill the database properties directly.

fix typo

export more data for the tokenizer name preparation

Adds class, type, country and rank to the exported information
and removes the rather odd hack for countries. Whether a place
represents a country boundary can now be computed by the tokenizer.

add wrapper class for place data passed to tokenizer

This is mostly for convenience and documentation purposes.

Merge pull request #2455 from lonvia/adjust-address-levels-slovakia

Adjust address levels for boundaries in Slovakia

Merge pull request #2454 from lonvia/sort-out-token-assignment-in-sql

ICU tokenizer: switch match method to using partial terms

adjust address levels for boundaries in Slovakia

Levels choosen according to OSM wiki. Mainly moves admin_level 6
to county level and admin_level 8 to city/town level. Higher
levels are adjusted accordingly.

Fixes #2453.

adapt tests to new ICU address token handling

remove unused parameter

Merge pull request #2452 from lonvia/update-houses-on-street-name-change

Force update of surrounding houses when street or place name changes