fix duplicate keys in tests

The tests suddenly failed because the unique key constraint
is more strict and does no longer include the type.

clean up intermediate tables earlier with --drop

When --drop is given, we can remove all node geometry information
already after the import with osm2pgsql. Also drop all unnecessary
tables before creating the final indices.

Merge pull request #1675 from lonvia/refresh-connection-while-indexing

Fix a couple of issues with the new Python nominatim script

Merge pull request #1674 from mtmail/testdb-how-to-select-tiger-data

document how to extract subset of TIGER data needed for API tests

Merge pull request #1673 from mtmail/wikidata-wget-incomplete

wikipedia: wget didnt download, skip index generation

psycopg 2.6 is now usable on ubuntu 16

nominatim.py: use async in connect() function

The _async parameter name is only supported since psycopg 2.7.
However, async is a keyword in Python >= 3.7, so using this
gives us a syntax error. Working around this by defining the
parameters in a dict and handing that into the connect function.

nominatim.py: also catch deadlocks on final wait

regularly close connection while indexing

Postgres sooner or later runs out of memory when the connection
is used for too long.

document how to extract subset of TIGER data needed for API tests

wikipedia: wget didnt download, skip index generation

Merge pull request #1670 from lonvia/permalinks-for-tiger-and-interpolation

Enable Permalinks to dtails for tiger and interpolation

fix formatting

details: also look for interpolations when way id is given

use detailsPermaLink function on main website as well

return place_id link to details when not an OSM object

Stop-gap solution to find the right object for Tiger and
interpolation objects.

Merge pull request #1667 from mtmail/setup-delete-invalid-indices

setup: delete invalid indices in create-search-indices step

Remove hack that changes the class/type of cities

This interferes badly with the details view.

Fixes #1668.

setup: delete invalid indices in create-search-indices step

Merge pull request #1665 from mtmail/centos7-php7

CentOS7: update from PHP 5.4 to 7.2, add psycopg2

Merge pull request #1666 from mtmail/ubuntu-installs-add-psycopg2

Vagrant Ubuntu: psycopg2 is required

Vagrant Ubuntu: psycopg2 is required

CentOS7: update from PHP 5.4 to 7.2

Merge pull request #1663 from mtmail/vagrant-centos-8

Vagrant setup for CentOS 8

Merge pull request #1664 from mtmail/check-import-finished-for-reverse-only

check_import_finished.php - reverse_only mode has less indices

check_import_finished.php - reverse_only mode has less indices

Vagrant setup for CentOS 8

details html page: no longer use place_id in URLs

fix verboseness of nominiatim script during updates

Merge pull request #1648 from lonvia/nominatim-as-python-script

Replace C Nominatim indexer with Python script

remove libxml dependency for travis as well

fix typo

also adapt indexing command in update script

update cMake build documentation

Remove the dependency on libxml, no longer needed.

forgot to index last rank

replace nominatim C program

fix log levels

add time display for nominatim.py

clean up and document script

fix SQL and some other stuff

Revert "switch to threading"

This reverts commit 8b1c2181be5aa5335c68d36a49cab9c4e2cd8bef.

switch to threading

use generator for thread choice

add prepared statement

simple implementation

Merge pull request #1647 from lonvia/split-out-linking

Split up placex update trigger code

fix indent

rename functions where return parameter changed

Postgresql cannot cleanly reimport these functions when
upgrading, so simply rename to avoid errors.

forgot new trigger sql

adapt index for changes name lookup

move trigger creation later in setup

clean up get_word_id function

Replaced by addr_ids_from_name() which also normalises the
string.

getNearestNamed*Feature functions better return values

factor out parent search from addr:street/addr:place

factor out searching for parent road for pois

remove unused function

factor out computation of default names

Also moves the computation down the line so that we never
have to do it twice.

factor out place linking sql

adapt test to change in hamlet classification

doc: clarify the influence of autovacuum on memory

docs: add a note that the faltnode file is needed for updates

Fixes #1644.

Merge pull request #1638 from mtmail/check-for-invalid-indices

check_import_finished: check for invalid indices

hint that invalid indices must be manually deleted

Merge pull request #1637 from mtmail/fix-warnings-in-verbose-warm

warm.php verbose mode was printing errors

Merge pull request #1636 from lonvia/update-introduction

Update help text on website

check_import_finished: check for invalid indices

warm.php verbose mode was printing errors

update report a problem page

update help links

All links should go to nominatim.org now. Also add links
to Help OSM and the Github repository.

remove special handling of rail

Skip railway=rail in the style, so that installations can remove
it if they wish.

update place address levels

Adds province and allotments and downgrades hamlet.

Merge pull request #1628 from lonvia/split-sql-functions

Split monstrous functions.sql

remove remaining sql functions into function/ directory

move postcode table triggers to own file

move placex triggers into own file

move place triggers into own file

move functions for interpolation table in own file

move functions for address lookup into own file

move creation function for aux data into own file

This function is currently unused, so don't even load it.

move importance/wikipedia functions into separate file

move SQL functions for normalisation in separate file

Merge pull request #1627 from lonvia/cleanup-setup-scripts

Minor cleanup of setup scripts

setup: factor out parameter replacement in SQL scripts

Put all into a single function and use for all SQL
templates.

fix osm link in polygon error view

Merge pull request #1626 from lonvia/move-tests-to-osm2pgsql

Move tests to osm2pgsql

remove osm2pgsql tag tests

These tests are now part of the osm2pgsql test suite.

update osm2pgsql (gazetteer output tests)

Merge pull request #1624 from lonvia/add-extratags-style

Add new extratags style

add new extratags style

This is the same as the full style but also adds all unused tags
except for a couple of internal tags to the extratags column.

Merge pull request #1622 from mtmail/clang-faq-entry

Documentation: add FAQ entry about clang not found

update osm2pgsql (exclude country and postcode from address tags)

Documentation: add FAQ entry about clang not found

Merge pull request #1612 from mtmail/cleanup-wiki-scripts

refactor import_wiki* script for readability

Merge pull request #1619 from mtmail/document-check-import-script

Use check_import_finished in test suite, document

refactor import_wiki* script for readability

Use check_import_finished in test suite, document

new script utils/check_import_finished.php

Merge pull request #1596 from mtmail/remove-obsolete-wikidata-scripts

remove old wikidata script. See data-sources/wikipedia-wikidata/ for new process

Merge pull request #1601 from mtmail/spheric-distance-on-details-page

details page: differentiate between spheric distance and distance in meters

remove duplicate addr:country from style