add migration for new placenode geometry index

simplify name matching between boundary and place node

Instead of normalising the names simply compare them in lower
case. This removes the dependency on the tokenizer for
linking boundaries and nodes. When looking up the linked places
by place type also allow that one name is simply contained in the
other. This catches the frequent case where one of the names has
an addendum (e.g. Newport vs. City of Newport).

Drops the special index for the name lookup and insted relies
on a slightly extended version of the geometry index used for
reverse lookup. Saves around 100MB on a planet.

Merge pull request #2269 from lonvia/fix-actions

github actions: reintroduce postgresql repo

github actions: reintroduce postgresql repo

Merge pull request #2264 from darkshredder/tiger-data-tests

Fix:  Error if last statements is wrong and improved tests in tiger data import

Fix: Removed error if endstatement is wrong and improved tests

Merge pull request #2260 from AntoJvlt/fix-load-languages-special-phrases

Fix default languages loading for special phrases import

Fix default languages loading

Merge pull request #2258 from darkshredder/code-coverage

Disabled Code coverage status checks

CodeCov comment only when codecoverage changes

Disabled Coverage status checks

add badge for codecov

Merge pull request #2252 from darkshredder/code-coverage

Added Code coverage support using Codecov

split LANGUAGES parameter before use

The user supplies the languages as a comma-separated list.

add migration information for new configuration format

Merge pull request #2256 from lonvia/remove-reverseinplan-option

Remove ReverseInPlan option

remove special handling for reversed queries in getGroupedSearches

getGroupedSearches is guaranteed not to be called with reversed
structured queries, so there is no need to have special exclusion
code.

remove reverseInPlan option from Geocode

Disabling query reversal is no longer possible in the configuration,
so there is no need to keep this as an option. Reversal is
automatically disabled for structured search only.

prepare 3.7.0 release

docs: minor spelling corrections

docs: unpacking tiger data is no longer necessary

Merge pull request #2250 from lonvia/save-transliterated-housenumbers

Switch to saving transliterated housenumbers in placex

Fixed BDD tests coverage reports

add migration for transliterated housenumbers

use new transliteration in initial housenumber word computation

The new create_housenumber_id() function splits housenumber
lists correctly. Otherwise there is no difference.

correctly handle housenumber lists

Lists are now standardised to use a semicolon separator.

move transliteration of housenumbers into indexing

Housenumbers are now saved in transliterated form in the housenumber
column. This saves the transliteration step during lookup.

tests for finding non-ascii housenumbers

return housenumbers always from address field

This means that we can use normalized versions of the
housenumber in the housenumber field as it is no longer
a user visible field.

Merge pull request #2248 from darkshredder/special-term-test

Added Test for TokenSpecialTerm

Added Test for TokenSpecialTerm

Merge pull request #2247 from lonvia/index-for-housenumber-lookup

Index for housenumber lookup

add recommendation for Postgresql 11+

use non-key index to speed up housenumber search

On Postgresql versions 11+ add an index to speed up the lookup
of housenumbers for terms found in search_name. This is really
just a band-aid around the query planer's interpretation of the
query.

Added code-cov Support for Code Coverage

Merge pull request #2243 from darkshredder/XML-format-fix

Fixed: XML format: more_url points to localhost, not base URL

Merge pull request #2244 from AntoJvlt/import-special-phrases-tests-cleaning

Cleaned tests for special phrases.

Added HTTP_HOST to if statement

Cleaned tests of exceptions and fix phrase_settings.json test file name.

fixed: XML format: more_url points to localhost, not base URL

Merge pull request #2234 from darkshredder/add-man-page

Added Manual page for Nominatim tool

allow sorting by housenumbers for rare street names

Usually we don't narrow down search results by house number when
only a street name is given because there may be a lot of rows
to cross check when the street name is very frequent. However,
when it is known to be rare, the housenumber check may be done
anyway.

Fixes #2238.

Update manpage after rebase

Nominatim/cli.py rebase fixes

Rebase with master

fixed indentation and used sed to remove AUTHORS section

Added Manual page and fixed documentation

Merge pull request #2228 from AntoJvlt/import-special-phrases-porting-python

Import special phrases porting python

Change command 'import-special-phrases --from-wiki' to 'special-phrases --import-from-wiki'.

Errors fixes, Cleaning code, Improvement and addition of tests

Encapsulation of tools/special_phrases.py into SpecialPhrasesImporter class and add new tests.

Code cleaning, tests simplification and use of python3-icu package

Updated documentation for PyICU support

Introduction of PyICU for transliteration in python. Reversed changes in normalization.sql.

Added wrapper in specialphrases.php to call corresponding nominatim command.

Changed phrase_settings.py to phrase-settings.json and added migration function for old php settings file.

Changed phrase_settings.py to phrase-settings.json and added migration function for old php settings file.

Merge pull request #2233 from lonvia/index-for-postcode-ids

Create postcode id index earlier

create postcode id index earlier

Now that the indexer takes care of indexing the postcode tables,
the id index is needed to find the rows to index.

Merge pull request #2231 from mtmail/correct-cli-help-page

nominatim -h was printing wrong text for lookup and details

avoid division by zero in progress meter

On Windows systems the timer may not be accurate enough to measure
the time between init() and done(). Avoid computing statistics with
a diff time of 0 in such cases.

Fixes #2230.

nominatim -h was priting wrong text for lookup and details

Deleted specialphrases.php and phrase_settings.php

Updated specialphrases_testdb.sql

Ported functions for the import of special phrases from php to python.

- the command is now --import-special-phrases
- the output is not an sql file anymore, data are directly imported to the database.
- the little part on the documentation (section data import) has been modified.

bdd tests: make indexing less verbose

Do not print progress info for indexing when there is an error
in the BDD tests.

Merge pull request #2219 from lonvia/bdd-test-remove-php

BDD tests: run all setup via nominatim Python library

bdd: run all setup via nominatim Python library

Drops all calls to PHP utility functions. nominatim cli functions
are used where possible, to stay as close to the final code as
possible with the tests.

By removing the PHP calls, the test code now only uses osm2pgsql and
the database module from the build directory.

Merge pull request #2216 from lonvia/fix-reverse-interpolation

Reverse: do not prefer interpolations over closer housenumbers

reverse: do not prefer interpolations over closer housenumbers

Always look up the closest housenumber before looking up
interpolations. This ensures that closer housenumbers are
preferred over interpolations.

Fixes #2214.

Merge pull request #2212 from darkshredder/country-name

Ported createCountryNames() to python and Added tests

Add setup.php

fix template variable name

Merge pull request #2213 from lonvia/tweak-search-weights

Some more tweaking of the ranking of search interpretations

Linting fix

refactored tests and made changes to code for easy readibility

Ported createCountryNames() to python and added tests

Merge pull request #2204 from darkshredder/tiger-data

Ported tiger-data-import to Python and Added Tarball Support

do not mix partial names with other words

As soon as a housenumber, postcode, etc. appear, the name term
must obviously be closed and no further partial terms can be
appended.

make linter happy

avoid multi-term partials in names

Names are either full words or single-word partial names.
Searching for multi-word partials yields exactly the same
result as with full words.

higher penalty for special searches

Adds a general higher penalty for special search term and an
additional one if the term is anywhere but the beginning or the
end. Also housenumbers and special searches together are less
likely.

do not mix partial and full name terms

If NameNonSearch already contains a partial term, then a
full term must not be added to the Name list anymore.

add one-rank penalty for using partial search

Ensures that full matches are preferred over partial ones even when
the full word consists of only one term.

fix result splitting for last search group

When we are in the final iteration of the search groups, it is not
possible to further delay the results. Unconditionally use the
results with the best rank instead.

give preference to full words in address, too

Full word terms are already preferred for the name part. Adding
only one-word partials to the address, makes it impossible to
give a similar preference for the address part. Each term adds
a rank penalty. The problem here is that we interpret the query
forwards and backwards. Having different penalty systems for
name and address means that the same term ends up with different
penalties and that often leads to interpretations of the wrong
direction being in the way.

Added fixture for sql_preprocessor and fixed some issues

Added test for tarfile

Added test and removed runlegacyscript

fixed linting, refactored threaded sql handling and removed importTigerData() function

Test fixes

Linting fixes

Linting fixes

Ported tiger-data-import to python and Added Tarball Support

Merge pull request #2200 from lonvia/migrations-for-current-version

Introduce a command for database migration

documentation for new migration command

automatic migration from 3.6 release

Adds a 'admin --migrate' command that checks for the current
database version and runs any necessary migrations. Also
has migrations going back to 3.6.

Merge pull request #2197 from lonvia/use-jinja-for-sql-preprocessing

Use jinja2 for SQL preprocessing

port index creation to python

Also switches to jinja-based preprocessing, which allows to
simplify the SQL files. Use 'if not exists' where possible
so that the step can be rerun to fix missing indexes.

indexer: ANALYSE must be run outside transactions