Merge pull request #1693 from lonvia/reorganize-addressline-computation

Reorganize addressline computation

adapt API tests

move address line computation in its own function

Merge pull request #1692 from mtmail/tests-for-HasSetAny

unit tests for ParameterParser::hasSetAny

unit tests for ParameterParser::hasSetAny

Merge pull request #1691 from lonvia/structured-query-via-cmdline

add structured search to command-line query tool

add structured search to command-line query tool

Merge pull request #1690 from lonvia/parenting-large-rank-30-areas

improve parenting for large areas with rank 30

improve parenting for large areas with rank 30

Instead of unconditionally parenting them to a street, the
larger areas get a parent area that contains them. To keep
things computationally light-weight, only use the centroid and
bbox to determine if an area is contained.

Requires renaming of parenting functions because renaming
a parameter of the function causes issues when updating the
function (it requires a manual delete, which I'd like to
avoid).

Merge pull request #1689 from mtmail/travis-postgres-stopped-working

Travis: documentation suggests we need to add postgresql-client package

Travis: documentation suggests we need to add postgresql-client package pre-startup

Merge pull request #1688 from mtmail/snippet-noun-vs-snipped-verb

documentation wording: snipped->snippet

documentation wording: snipped->snippet

make sure that linked places are within a boundary

This is a regression from previous code refactoring.

Fixes #1684.

add bbox whereclause to make postgis 3.0 happy

Normally ST_Covers() should include a bbox index use,
so adding a bbox where clause is not really necessary.
However, the query planner messes up and uses a parallel
index search with a second index instead of exclusively
running on the geometry index, when the bbox part is
missing.

Merge pull request #1678 from lonvia/early-drop

Clean up intermediate tables earlier with --drop

fix duplicate keys in tests

The tests suddenly failed because the unique key constraint
is more strict and does no longer include the type.

clean up intermediate tables earlier with --drop

When --drop is given, we can remove all node geometry information
already after the import with osm2pgsql. Also drop all unnecessary
tables before creating the final indices.

Merge pull request #1675 from lonvia/refresh-connection-while-indexing

Fix a couple of issues with the new Python nominatim script

Merge pull request #1674 from mtmail/testdb-how-to-select-tiger-data

document how to extract subset of TIGER data needed for API tests

Merge pull request #1673 from mtmail/wikidata-wget-incomplete

wikipedia: wget didnt download, skip index generation

psycopg 2.6 is now usable on ubuntu 16

nominatim.py: use async in connect() function

The _async parameter name is only supported since psycopg 2.7.
However, async is a keyword in Python >= 3.7, so using this
gives us a syntax error. Working around this by defining the
parameters in a dict and handing that into the connect function.

nominatim.py: also catch deadlocks on final wait

regularly close connection while indexing

Postgres sooner or later runs out of memory when the connection
is used for too long.

document how to extract subset of TIGER data needed for API tests

wikipedia: wget didnt download, skip index generation

Merge pull request #1670 from lonvia/permalinks-for-tiger-and-interpolation

Enable Permalinks to dtails for tiger and interpolation

fix formatting

details: also look for interpolations when way id is given

use detailsPermaLink function on main website as well

return place_id link to details when not an OSM object

Stop-gap solution to find the right object for Tiger and
interpolation objects.

Merge pull request #1667 from mtmail/setup-delete-invalid-indices

setup: delete invalid indices in create-search-indices step

Remove hack that changes the class/type of cities

This interferes badly with the details view.

Fixes #1668.

setup: delete invalid indices in create-search-indices step

Merge pull request #1665 from mtmail/centos7-php7

CentOS7: update from PHP 5.4 to 7.2, add psycopg2

Merge pull request #1666 from mtmail/ubuntu-installs-add-psycopg2

Vagrant Ubuntu: psycopg2 is required

Vagrant Ubuntu: psycopg2 is required

CentOS7: update from PHP 5.4 to 7.2

Merge pull request #1663 from mtmail/vagrant-centos-8

Vagrant setup for CentOS 8

Merge pull request #1664 from mtmail/check-import-finished-for-reverse-only

check_import_finished.php - reverse_only mode has less indices

check_import_finished.php - reverse_only mode has less indices

Vagrant setup for CentOS 8

details html page: no longer use place_id in URLs

fix verboseness of nominiatim script during updates

Merge pull request #1648 from lonvia/nominatim-as-python-script

Replace C Nominatim indexer with Python script

remove libxml dependency for travis as well

fix typo

also adapt indexing command in update script

update cMake build documentation

Remove the dependency on libxml, no longer needed.

forgot to index last rank

replace nominatim C program

fix log levels

add time display for nominatim.py

clean up and document script

fix SQL and some other stuff

Revert "switch to threading"

This reverts commit 8b1c2181be5aa5335c68d36a49cab9c4e2cd8bef.

switch to threading

use generator for thread choice

add prepared statement

simple implementation

Merge pull request #1647 from lonvia/split-out-linking

Split up placex update trigger code

fix indent

rename functions where return parameter changed

Postgresql cannot cleanly reimport these functions when
upgrading, so simply rename to avoid errors.

forgot new trigger sql

adapt index for changes name lookup

move trigger creation later in setup

clean up get_word_id function

Replaced by addr_ids_from_name() which also normalises the
string.

getNearestNamed*Feature functions better return values

factor out parent search from addr:street/addr:place

factor out searching for parent road for pois

remove unused function

factor out computation of default names

Also moves the computation down the line so that we never
have to do it twice.

factor out place linking sql

adapt test to change in hamlet classification

doc: clarify the influence of autovacuum on memory

docs: add a note that the faltnode file is needed for updates

Fixes #1644.

Merge pull request #1638 from mtmail/check-for-invalid-indices

check_import_finished: check for invalid indices

hint that invalid indices must be manually deleted

Merge pull request #1637 from mtmail/fix-warnings-in-verbose-warm

warm.php verbose mode was printing errors

Merge pull request #1636 from lonvia/update-introduction

Update help text on website

check_import_finished: check for invalid indices

warm.php verbose mode was printing errors

update report a problem page

update help links

All links should go to nominatim.org now. Also add links
to Help OSM and the Github repository.

remove special handling of rail

Skip railway=rail in the style, so that installations can remove
it if they wish.

update place address levels

Adds province and allotments and downgrades hamlet.

Merge pull request #1628 from lonvia/split-sql-functions

Split monstrous functions.sql

remove remaining sql functions into function/ directory

move postcode table triggers to own file

move placex triggers into own file

move place triggers into own file

move functions for interpolation table in own file

move functions for address lookup into own file

move creation function for aux data into own file

This function is currently unused, so don't even load it.

move importance/wikipedia functions into separate file

move SQL functions for normalisation in separate file

Merge pull request #1627 from lonvia/cleanup-setup-scripts

Minor cleanup of setup scripts

setup: factor out parameter replacement in SQL scripts

Put all into a single function and use for all SQL
templates.

fix osm link in polygon error view