improve normalization

Make sure all special symbols are removed during normalization already.
Those won't be interpreted in any way because they are unlikely to be
searched for.

only consider partials in multi-words for initial count

This ensures that it is less likely that we exclude meaningful
words like 'hauptstrasse' just because they are frequent.

add documentation for ICU tokenizer configuration

switch to a more flexible variant description format

The new format combines compound splitting and abbreviation.
It also allows to restrict rules to additional conditions
(like language or region). This latter ability is not used
yet.

use yaml tag syntax to mark include files

add dependency on datrie

tests for composing decomposed suffixes

make compund decomposition pure import feature

Compound decomposition now creates a full name variant on
import just like abbreviations. This simplifies query time
normalization and opens a path for changing abbreviation
and compund decomposition lists for an existing database.

complete tests for icu tokenizer

fix full term token in special phrases

complete tests for rule loader

correctly quote strings when copying in data

Encapsulate the copy string in a class that ensures that
copy lines are written with correct quoting.

update unit tests for adapted abbreviation code

add abbreviations from legacy tokenizer

These abbreviations are not a perfect fit anymore because
abbreviation replacement is now applied before transliteration.

adapt tests for ICU tokenizer

move abbreviation computation into import phase

This adds precomputation of abbreviated terms for names and removes
abbreviation of terms in the query. Basic import works but still
needs some thorough testing as well as speed improvements during
import.

New dependency for python library datrie.

icu tokenizer: move transliteration rules in separate file

The tokenizer configuration has become difficult to handle
due to the additional manual transliteration rules. Allow
to have a separate rule file that is given to the ICU library
as is.

docs: nominatim-ui should be installed from the release

The development version does not provide the pre-packaged
dist directory anymore.

Merge pull request #2373 from lonvia/tweak-search-cost

Further tweaking of search cost

remove penalty for full words in address

Now that mutli-word partials no longer exist, multi-word full
words need to be used to search in addresses and therefore no
longer should have a penalty.

Also changes the condition when a full word is included into
the address. It is no longer relevant if an equivalent partial
exists but only if the term consists of more than one word.

adjust penalty for housenumber-in-name searches

When searching for house numbers in the name (for place-only
terms) then the same penalties need to apply as for the
regular house number search.

Change the code to first compute the penalties and then create
the new search variants.

increase minimum Python to 3.6

Python 3.6 introduces formatted string literals and
flag enums as well as a much faster dict implementation.
These changes make the code so much simpler as to warrant
dropping Python 3.5 support.

Affected distributions are Ubuntu 16.04 and Debian Stretch.

make sure old data gets deleted on place type change

When changing from some other place type to place=postcode
make sure that the old place type entry in the place table
is deleted.

update postcode in place if it already exists

Merge pull request #2369 from lonvia/exclude-poi-from-housenumber-search

Do not return POIs when dropping house number in query

do not return POIs when dropping house number in query

We've previously added searching through rank 30 in a house
number search to enable searches for house number+name.
This had the unintended side effect that rank 30 objects
are also returned in s search that dropped the house number
from the query. This is wrong because POIs cannot function
as a parent to a house number.

This fix drops all rank 30 objects from the results for a
house number search if they do not match the requested house
number.

Merge pull request #2360 from AntoJvlt/postcodes-place-table

Use place instead of placex to compute postcodes

Improved performance of the postcodes query and some code cleaning

Always delete old placex entry for type=postcode when inserting a new one into the place table

Handle postcode type change in place insert trigger

Clean and update tests for postcodes

Use place_exists() into can_compute() for postcodes

Update tests for postcodes

Use place instead of placex to compute postcodes

do not fail CI on codecov errors

The CodeCove upload depends on unreliable external code.

Merge pull request #2359 from lonvia/switch-bdd-tests-to-api-search

Remove deprecated commandline query function

remove deprecated query interface

Searches can now be done via the thin API wrapper.

switch BDD tests to always use search API

Merge pull request #2358 from AntoJvlt/documentation-update

Update documentation

Update documentation

Merge pull request #2357 from lonvia/legacy-tokenizer-fix-word-entries

Fix insertion of special terms and countries into word table

fix insertion of special terms and countries into word table

Special terms need to be prefixed by a space because they are
full terms.

For countries avoid duplicate entries of word tokens.

Adds tests for adding country terms.

Merge pull request #2356 from lonvia/freeze-after-import

Call freeze after running and non-updateable import

docs: reload SQL when migrating to 3.6

SQL functions must always be reloaded when updating the software.
All other updates included the instruction as part of some other
migration. From 3.7 on it will happen as part of the migration
command.

Fixes #2335.

call freeze after running and non-updateable import

Some of the tables will have already been removed but
the tables for indexing are still there and should be
dropped.

commit changes to replication log table

Fixes #2350.

always compute guessed postcode for POIs from centroid

When guessing postcodes from the area, only postcodes within
that area are accepted. For POIs that is usually not what we
want as the postcode would have to be within a house for
example.

Fixes #2301.

Merge pull request #2349 from lonvia/fix-website-refresh

Only initialise tokenizer for refresh functions where needed

only initialise tokenizer for refresh functions where needed

Fixes #2347.

Merge pull request #2346 from lonvia/words-vs-tokens

Cleanup use of partial words in legacy tokenizers

add tests for new full name computation with ICU

reorganize keyword creation for legacy tokenizer

- only save partial words without internal spaces
- consider comma and semicolon a separator of full words
- consider parts before an opening bracket a full word
  (but not the part after the bracket)

Fixes #244.

use make_keywords for place search terms also

Ensures that place indeed uses the same search names as other
names.

always ignore multi term partials in search

Partial terms should only ever consist of one word. Ignore
any other, they are a leftover from inefficient word index
builts.

Merge pull request #2342 from lonvia/icu-tokenizer-ci

Add BDD tests with icu tokenizer to CI runs

CI: run BDD tests with legacy_icu tokenizer

enable Tiger BDD API test for legacy_icu

Merge pull request #2341 from lonvia/cleanup-python-tests

Cleanup and linting of python tests

Merge pull request #2337 from mogita/fix/invalid-query-string

fix: add the missing question mark

test: fix linting errors

test: more use of table_factory

test: avoid use of tempfile module

Use the tmp_path fixture instead which provides automatic
cleanup.

test: use src_dir fixture instead of self-computed paths

test: replace raw execute() with fixture code where possible

test: use table_rows() and execute_values() where possible

Some uses of scalar() could also be replaced with convenience
functions from the word table mock.

test: move Testingcursor into separate class

Also adds more convenience functions: counting with a where
statement and a wrapper to execute_values().

fix: add the missing question mark

Merge pull request #2336 from lonvia/do-not-mask-error-when-loading-tokenizer

Do not hide errors when importing tokenizer

Merge pull request #2321 from AntoJvlt/csv-import-special-phrases

CSV import for special phrases and loader refactoring

Documentation update and small code fixes

do not hide errors when importing tokenizer

Explicitly check for the tokenizer source file to check that
the name is correct. We can't use the import error for that
because it hides other import errors like a missing
library.

Fixes #2327.

Merge pull request #2332 from lonvia/fix-keyword-details

Always use object type for details keywords

always use object type for details keywords

When name and address is empty, the keywords field in the response
of the details API would be an array because that is what PHP's
json_encode defaults to with empty array(). This default can only
be changed globally per json_encode call and that might cause
unintended colleteral damage. Work around the issue by making
name and address an empty array instead of keywords.

Fixes #2329.

Resolve conflicts

Special phrases documentation updated

Added --no-replace command for special phrases importation and added corresponding tests

Code cleaning and SPLoader deleted

Add tests for the new SPWikiLoader and SPCsvLoader

Merge pull request #2323 from darkshredder/disable-search-reverse-only

Feat: Disabled search API for --reverse-only imports

Merge pull request #2328 from lonvia/convert-tiger-to-csv

Switch external Tiger data to CSV format

install default settings for legacy_icu tokenizer

adapt documentation to use Tiger CSV dump

adapt tests to new TIGER CSV format

use tokenizer during Tiger data import

This also changes the required import format to CSV.

feat: Added reverse-only-search validation

Merge pull request #2326 from lonvia/wokerpool-for-tiger-data

Use WorkerPool when importing Tiger data

use WorkerPool for Tiger data import

Requires adding an option that SQL errors are ignored.

move WorkerPool into db module

The pool is independent of the indexer and may also be used
by other parts of the software.

Merge pull request #2325 from lonvia/do-not-precompute-postcodes

Do not preload postcodes in the legacy tokenizer

Add array_key_last function for PHP <7.3

This patch adds an array_key_last function if it doesn't yet exist, fixes #2316. It is tested on PHP 7.2.24 but not PHP 7.3.

do not preload postcodes

This is too expensive for updates.

Merge pull request #2324 from lonvia/generic-external-postcodes

Rework postcode handling and generalised external postcode support

fix token_info migration

A bad indent meant that only one table received the new column.

ignore invalid coordinates in external postcodes

ignore entries without country code

add documentation for external postcode feature

correctly handle removing all postcodes for country

index postcodes after refreshing

add and extend tests for new postcode handling

move filling of postcode table to python

The Python code now takes care of reading postcodes from placex,
enhancing them with potentially existing external postcodes and
updating location_postcodes accordingly. The initial setup and
updates use exactly the same function.

External postcode handling has been generalized. External postcodes
for any country are now accepted. The format of the external postcode
file has changed. We now expect CSV, potentially gzipped. The
postcodes are no longer saved in the database.