replace nominatim C program

fix log levels

add time display for nominatim.py

clean up and document script

fix SQL and some other stuff

Revert "switch to threading"

This reverts commit 8b1c2181be5aa5335c68d36a49cab9c4e2cd8bef.

switch to threading

use generator for thread choice

add prepared statement

simple implementation

Merge pull request #1647 from lonvia/split-out-linking

Split up placex update trigger code

fix indent

rename functions where return parameter changed

Postgresql cannot cleanly reimport these functions when
upgrading, so simply rename to avoid errors.

forgot new trigger sql

adapt index for changes name lookup

move trigger creation later in setup

clean up get_word_id function

Replaced by addr_ids_from_name() which also normalises the
string.

getNearestNamed*Feature functions better return values

factor out parent search from addr:street/addr:place

factor out searching for parent road for pois

remove unused function

factor out computation of default names

Also moves the computation down the line so that we never
have to do it twice.

factor out place linking sql

adapt test to change in hamlet classification

doc: clarify the influence of autovacuum on memory

docs: add a note that the faltnode file is needed for updates

Fixes #1644.

Merge pull request #1638 from mtmail/check-for-invalid-indices

check_import_finished: check for invalid indices

hint that invalid indices must be manually deleted

Merge pull request #1637 from mtmail/fix-warnings-in-verbose-warm

warm.php verbose mode was printing errors

Merge pull request #1636 from lonvia/update-introduction

Update help text on website

check_import_finished: check for invalid indices

warm.php verbose mode was printing errors

update report a problem page

update help links

All links should go to nominatim.org now. Also add links
to Help OSM and the Github repository.

remove special handling of rail

Skip railway=rail in the style, so that installations can remove
it if they wish.

update place address levels

Adds province and allotments and downgrades hamlet.

Merge pull request #1628 from lonvia/split-sql-functions

Split monstrous functions.sql

remove remaining sql functions into function/ directory

move postcode table triggers to own file

move placex triggers into own file

move place triggers into own file

move functions for interpolation table in own file

move functions for address lookup into own file

move creation function for aux data into own file

This function is currently unused, so don't even load it.

move importance/wikipedia functions into separate file

move SQL functions for normalisation in separate file

Merge pull request #1627 from lonvia/cleanup-setup-scripts

Minor cleanup of setup scripts

setup: factor out parameter replacement in SQL scripts

Put all into a single function and use for all SQL
templates.

fix osm link in polygon error view

Merge pull request #1626 from lonvia/move-tests-to-osm2pgsql

Move tests to osm2pgsql

remove osm2pgsql tag tests

These tests are now part of the osm2pgsql test suite.

update osm2pgsql (gazetteer output tests)

Merge pull request #1624 from lonvia/add-extratags-style

Add new extratags style

add new extratags style

This is the same as the full style but also adds all unused tags
except for a couple of internal tags to the extratags column.

Merge pull request #1622 from mtmail/clang-faq-entry

Documentation: add FAQ entry about clang not found

update osm2pgsql (exclude country and postcode from address tags)

Documentation: add FAQ entry about clang not found

Merge pull request #1612 from mtmail/cleanup-wiki-scripts

refactor import_wiki* script for readability

Merge pull request #1619 from mtmail/document-check-import-script

Use check_import_finished in test suite, document

refactor import_wiki* script for readability

Use check_import_finished in test suite, document

new script utils/check_import_finished.php

Merge pull request #1596 from mtmail/remove-obsolete-wikidata-scripts

remove old wikidata script. See data-sources/wikipedia-wikidata/ for new process

Merge pull request #1601 from mtmail/spheric-distance-on-details-page

details page: differentiate between spheric distance and distance in meters

remove duplicate addr:country from style

Merge pull request #1609 from txtor/master

typo - fixes openstreetmap#1606

typo - fixes openstreetmap#1606

update osm2pgsql (deletion and address updates)

Merge pull request #1604 from mtmail/wiki-create-pagelinkcount-earlier

wikipedia: create all language pagelinkcount tables before querying them

wikipedia: create all language pagelinkcount tables before querying them

details page: differentiate between spheric distance and distance in meters

remove old wikidata script. See data-sources/wikipedia-wikidata/ for new process

add test for finding housenumber 0

Merge branch 'housenumber-zero' of https://github.com/mtmail/Nominatim into mtmail-housenumber-zero

Merge pull request #1585 from mmd-osm/patch-1

Mention FAQ / troubleshooting page in README

bdd tests: enforce use of full import style

Revert "update osm2pgsql (reduce memory usage)"

This reverts commit 347446489476151007902721ee828d55445e6159.

update osm2pgsql (reduce memory usage)

Mention FAQ / troubleshooting page in README

Merge pull request #1578 from lonvia/docs-installation-support

Update installation documentation wrt memory usage

Merge pull request #1581 from mtmail/wrap-leaflet-map

Allow leaflet map to wrap-around, still longitude should be -180..+180

fix typo

Merge pull request #1582 from mtmail/documentation-direct-link-osm2pgsql

add wiki link to osm2psql README

Merge pull request #1583 from mtmail/documentation-pear-db-no-longer-prerequisite

PHP PEAR::DB is not longer a prerequisite

PHP PEAR::DB is not longer a prerequisite

add wiki link to osm2psql README

Allow map to wrap-around, still longitude should be -180..+180

set default osm2pgsql to 0 when using flatnode file

update minimum required RAM to 64GB

Also adds more background explanation on time and RAM use,
as well as a hint that github issues are not good for
installation support.

remove reference to nominatim.xml OpenSearch description

The file was meant for the openstreetmap instance only.

Fixes #1554.

Merge pull request #1570 from lonvia/wikipedia-importance-updates

Wikipedia importance updates

formatting: avoid long lines

adapt tests for new wikipedia tables

fix loading of data without wikipedia files

Also removes unused place_boundingbox table.

prefer English wikipedia for wikidata matches

Switch to sql.gz format for wikipedia data

The dump import is no longer needed.

fix wikidata import

The loop was not skipping empty results of get_wikipedia_match().

update documentation for new wikipedia data

use wikidata links for importance as well

also update wikipedia from linked places