Merge pull request #2357 from lonvia/legacy-tokenizer-fix-word-entries

Fix insertion of special terms and countries into word table

fix insertion of special terms and countries into word table

Special terms need to be prefixed by a space because they are
full terms.

For countries avoid duplicate entries of word tokens.

Adds tests for adding country terms.

Merge pull request #2356 from lonvia/freeze-after-import

Call freeze after running and non-updateable import

docs: reload SQL when migrating to 3.6

SQL functions must always be reloaded when updating the software.
All other updates included the instruction as part of some other
migration. From 3.7 on it will happen as part of the migration
command.

Fixes #2335.

call freeze after running and non-updateable import

Some of the tables will have already been removed but
the tables for indexing are still there and should be
dropped.

commit changes to replication log table

Fixes #2350.

always compute guessed postcode for POIs from centroid

When guessing postcodes from the area, only postcodes within
that area are accepted. For POIs that is usually not what we
want as the postcode would have to be within a house for
example.

Fixes #2301.

Merge pull request #2349 from lonvia/fix-website-refresh

Only initialise tokenizer for refresh functions where needed

only initialise tokenizer for refresh functions where needed

Fixes #2347.

Merge pull request #2346 from lonvia/words-vs-tokens

Cleanup use of partial words in legacy tokenizers

add tests for new full name computation with ICU

reorganize keyword creation for legacy tokenizer

- only save partial words without internal spaces
- consider comma and semicolon a separator of full words
- consider parts before an opening bracket a full word
  (but not the part after the bracket)

Fixes #244.

use make_keywords for place search terms also

Ensures that place indeed uses the same search names as other
names.

always ignore multi term partials in search

Partial terms should only ever consist of one word. Ignore
any other, they are a leftover from inefficient word index
builts.

Merge pull request #2342 from lonvia/icu-tokenizer-ci

Add BDD tests with icu tokenizer to CI runs

CI: run BDD tests with legacy_icu tokenizer

enable Tiger BDD API test for legacy_icu

Merge pull request #2341 from lonvia/cleanup-python-tests

Cleanup and linting of python tests

Merge pull request #2337 from mogita/fix/invalid-query-string

fix: add the missing question mark

test: fix linting errors

test: more use of table_factory

test: avoid use of tempfile module

Use the tmp_path fixture instead which provides automatic
cleanup.

test: use src_dir fixture instead of self-computed paths

test: replace raw execute() with fixture code where possible

test: use table_rows() and execute_values() where possible

Some uses of scalar() could also be replaced with convenience
functions from the word table mock.

test: move Testingcursor into separate class

Also adds more convenience functions: counting with a where
statement and a wrapper to execute_values().

fix: add the missing question mark

Merge pull request #2336 from lonvia/do-not-mask-error-when-loading-tokenizer

Do not hide errors when importing tokenizer

Merge pull request #2321 from AntoJvlt/csv-import-special-phrases

CSV import for special phrases and loader refactoring

Documentation update and small code fixes

do not hide errors when importing tokenizer

Explicitly check for the tokenizer source file to check that
the name is correct. We can't use the import error for that
because it hides other import errors like a missing
library.

Fixes #2327.

Merge pull request #2332 from lonvia/fix-keyword-details

Always use object type for details keywords

always use object type for details keywords

When name and address is empty, the keywords field in the response
of the details API would be an array because that is what PHP's
json_encode defaults to with empty array(). This default can only
be changed globally per json_encode call and that might cause
unintended colleteral damage. Work around the issue by making
name and address an empty array instead of keywords.

Fixes #2329.

Resolve conflicts

Special phrases documentation updated

Added --no-replace command for special phrases importation and added corresponding tests

Code cleaning and SPLoader deleted

Add tests for the new SPWikiLoader and SPCsvLoader

Merge pull request #2323 from darkshredder/disable-search-reverse-only

Feat: Disabled search API for --reverse-only imports

Merge pull request #2328 from lonvia/convert-tiger-to-csv

Switch external Tiger data to CSV format

install default settings for legacy_icu tokenizer

adapt documentation to use Tiger CSV dump

adapt tests to new TIGER CSV format

use tokenizer during Tiger data import

This also changes the required import format to CSV.

feat: Added reverse-only-search validation

Merge pull request #2326 from lonvia/wokerpool-for-tiger-data

Use WorkerPool when importing Tiger data

use WorkerPool for Tiger data import

Requires adding an option that SQL errors are ignored.

move WorkerPool into db module

The pool is independent of the indexer and may also be used
by other parts of the software.

Merge pull request #2325 from lonvia/do-not-precompute-postcodes

Do not preload postcodes in the legacy tokenizer

Add array_key_last function for PHP <7.3

This patch adds an array_key_last function if it doesn't yet exist, fixes #2316. It is tested on PHP 7.2.24 but not PHP 7.3.

do not preload postcodes

This is too expensive for updates.

Merge pull request #2324 from lonvia/generic-external-postcodes

Rework postcode handling and generalised external postcode support

fix token_info migration

A bad indent meant that only one table received the new column.

ignore invalid coordinates in external postcodes

ignore entries without country code

add documentation for external postcode feature

correctly handle removing all postcodes for country

index postcodes after refreshing

add and extend tests for new postcode handling

move filling of postcode table to python

The Python code now takes care of reading postcodes from placex,
enhancing them with potentially existing external postcodes and
updating location_postcodes accordingly. The initial setup and
updates use exactly the same function.

External postcode handling has been generalized. External postcodes
for any country are now accepted. The format of the external postcode
file has changed. We now expect CSV, potentially gzipped. The
postcodes are no longer saved in the database.

Merge pull request #2322 from mtmail/type-label-already-lowercased

typelabel value is already lowercased

typelabel value is already lowercased

Introduction of SPCsvLoader to load special phrases from a csv file

Refactoring loading of external special phrases and importation process by introducing SPLoader and SPWikiLoader

Merge pull request #2314 from lonvia/fix-status-no-import-date

Correctly catch the exception when import date is missing

Merge pull request #2312 from lonvia/icu-tokenizer

Add new tokenizer based on libICU

correctly catch the exception when import date is missing

add missing transliterations

The ICU library only offers transliterations for a limited set of
script. Add transliterations for missing scripts from the PostgreSQL
module. These means that the same selection of scripts is supported
as with the old module.

fix name of transliterator

Should be different from the normalisation rules.

enable BDD tests for different tokenizers

The tokenizer to be used can be choosen with -DTOKENIZER.

Adapt all tests, so that they work with legacy_icu tokenizer.
Move lookup in word table to a function in the tokenizer.
Special phrases are temporarily imported from the wiki until
we have an implementation that can import from file. TIGER
tests do not work yet.

add unit tests for legacy ICU tokenizer

cache translieration results

add PHP part for new ICU-base tokenizer

add Python part for new ICU-based tokenizer

Merge pull request #2310 from RhinoDevel/master

2nd try: Add hint about replication update & recheck intervals being in seconds.

Add hint about replication update & recheck intervals being in seconds.

Merge pull request #2305 from lonvia/tokenizer

Factor out normalization into a separate module

mock tokenizer factory for replication tests

commit between migrations

Later migrations may require tables set up by older ones.

increase database version for tokenizer migration

fix liniting issues

move index creation for word table to tokenizer

This introduces a finalization routing for the tokenizer
where it can post-process the import if necessary.

indexer: fetch extra place data asynchronously

The indexer now fetches any extra data besides the place_id
asynchronously while processing the places from the last batch.
This also means that more places are now fetched at once.

fetch place info asynchronously

indexer: fetch ids in batches

move database check for module to tokenizer

move status test to tokenizer

The availability of the module is now tested by the tokenizer.

add more tests for legacy tokenizer

move tokenization in query into tokenizer

boilerplate for PHP code of tokenizer

This adds an installation step for PHP code for the tokenizer. The
PHP code is split in two parts. The updateable code is found in
lib-php. The tokenizer installs an additional script in the
project directory which then includes the code from lib-php and
defines all settings that are static to the database. The website
code then always includes the PHP from the project directory.

tests for legacy tokenizer

move amenity creation to tokenizer

The BDD tests still use the old-style amenity creation scripts
because we don't have simple means to import a hand-crafted
test file of special phrases right now.

move default country name creation to tokenizer

The new function is also used, when a country us updated. All SQL
function related to country names have been removed.

cache all postcodes

reorganise address iteration in tokenizer

remove debug code

use address tokens in SQL

extract address tokens in tokenizer

move postcode normalization into tokenizer

move houseunumber handling to tokenizer

Normalization and token computation are now done in the tokenizer.
The tokenizer keeps a cache to the hundred most used house numbers
to keep the numbers of calls to the database low.