Switch to sql.gz format for wikipedia data

The dump import is no longer needed.

fix wikidata import

The loop was not skipping empty results of get_wikipedia_match().

update documentation for new wikipedia data

use wikidata links for importance as well

also update wikipedia from linked places

add command for recomputing importance

move importance computation into its own function

Merge pull request #1557 from mtmail/document-boundingbox

documentation: add note what bounding box can be used for

Merge pull request #1563 from mtmail/remove-pear-db-faq-entries

documentation: remove FAQ entries related to PEAR::DB

Merge pull request #1564 from mtmail/typo-sql-in-postcodes-md

typo in SQL in Postcodes.md

typo in SQL in Postcodes.md

documentation: remove FAQ entries related to PEAR::DB, we no longer use that

Merge pull request #1555 from mtmail/setup-escape-shell-args

setup: escape arguments when executing shell commands (psql, createdb)

some reformatting of documentation changes and typo fixes

The newest mkdocs is more demanding when it comes to code block
formatting.

documentation: new page explaining calculated postcodes

Merge pull request #1548 from mtmail/centos7-postgresql-11

Update CentOS7 instruction to postgresql 11 (default was 9.2)

documentation: add note what bounding box can be used for

setup: escape arguments when executing shell commands (psql, createdb)

Update CentOS instruction to postgresql 11 (default was 9.2)

Merge pull request #1545 from mtmail/details-index-html-page

HTML page with search form when /details.php called without params

HTML page with search form when /details.php called without params

Merge pull request #1542 from mtmail/tiger-import-more-verbose

Tiger data import: display which path is searched for files

Tiger data import: display which path is searched for files

Merge branch 'fix-getcol-zero' of https://github.com/eyusupov/Nominatim into eyusupov-fix-getcol-zero

Merge pull request #1532 from eyusupov/use-extradir

Use ExtraDataPath for country grid

adapt tests to short_name demotion

demote short_name in the list of names to display

The usage of short_name in OSM has changed with time. It is no
longer suitable as a display name.

Fixes #783.

Handle zero in getCol()

switch to pygments for mkdocs hilighting

prepare for 3.4.0 release

Use ExtraDataPath for country grid

update osm2pgsql (bound COPY buffers)

Merge pull request #1502 from mtmail/specialphrases-quotes

Specialphrases quotes

Merge pull request #1528 from chatelao/patch-2

Typo - Wekipedia (Wikipedia)

Typo - Wekipedia (Wikipedia)

Merge pull request #1526 from lonvia/index-concurrently

create/drop indexes concurrently

fix rank of postcode results

Fixes #1487.

fix rank of postcode results

Fixes #1487.

create/drop indexes concurrently

Fixes #1507.

Merge pull request #1524 from MatthiasLohr/bugfix/uninitialized-string-offset

Fix for #1523: Fix PHP warning

Fixed PHP warning from #1523

Signed-off-by: Matthias Lohr <mail@mlohr.com>

Merge pull request #1484 from mtmail/ignore-errors-on-setup-drop

on --drop warn on non-existing tables, dont croak

Merge pull request #1519 from mtmail/doc-viewbox-parameters2

documentation: add note what x,y mean for viewbox parameter

add place=city_block/quarter to address hierarchy

Fixes #1516.

documentation: add note what x,y mean for viewbox parameter

Gsoc2019 contributions for adding Wikidata to Nominatim (#1475)

Complete rewrite of wikipedia processing scripts, addition of processing wikidata, new data source, new documentation by @tchaddad during Google Summer of Code 2019 project.

Merge pull request #1511 from cbpetersen/patch-1

Remove duplicate format query param

Remove duplicate format query param

special phrases: use printf, line length below 120char

special phrases: sometimes quotes are not escaped

SetupClass: on --drop check if table exists first

Merge pull request #1474 from mtmail/tiger-data-2019

US TIGER 2019 data got released

Merge pull request #1478 from tbertels/patch-1

Remove administrative arrondissements from Belgian addresses

Remove administrative arrondissements from Belgian addresses

"administrative7" -> [14, 0]

Merge pull request #1477 from dpasqualin/fix-python-shebang

Fix python shebang following PEP 394 recommendation

Fix python shebang following PEP 394 recommendation

US TIGER 2019 data got released

fix spelling on US-Tiger documentation page (#1459)

Merge pull request #1444 from lonvia/require-python-3

Require python 3

Merge pull request #1453 from mtmail/add-boundingbox-to-lookup-results

lookup endpoint returns boundingbox

lookup endpoint returns boundingbox

Merge pull request #1445 from mtmail/hierarchy-endpoint-broke

/hierarchy.php was missing namespace calling AddressDetails

/hierarchy.php was missing namespace calling AddressDetails

adapt TIGER conversion script for python 3

require python 3 for all tools used in updates

Merge pull request #1443 from lonvia/reorganize-search-name-partition-tables

Reorganize search name partition tables

Merge pull request #1433 from mtmail/us-postcode-import-optional

make US postcode data to an optional download

add cmake mode for building documentation only

streamline indexes of search_name partition tables

Remove index on name_vector. We always do near search where the
geometry index is sufficient. Also split centroid index in low
and high rank indexes. Reduces index size by about 25%.

use bbox of geometry when searching for attached streets

As we are doing a distance search, this improves results for
large places like airports.

Fixes #1442.

make US postcode data to an optional download

Merge pull request #1432 from mtmail/two-outputformats-for-lookup-endpoint

lookup endpoint supports jsonv2 and geocodejson output now

Merge pull request #1430 from mtmail/exclude-negative-tiger-housenumber-ranges

during TIGER import skip records with negative house number range

Merge pull request #1427 from mtmail/documentation-how-to-build-documentation

New readme file on how to build the documentation

lookup endpoint supports jsonv2 and geocodejson output now

during TIGER import skip records with negative house number range

New readme file on how to build the documentation

Merge pull request #1422 from lonvia/remove-country-from-addressline

Remove country from addressline

Merge pull request #1421 from asantoz/patch-1

Minor change on lookup endpoint doc

add migration hints for country table

remove country from place_addressline

The country information can be determined sufficiently from
the country code. We only loose the specific OSM object
behind the address.

Also streamlines the location_area_country table.

Minor change on lookup endpoint doc

Fix documentation about lookup endpoint on output formats available on filter `format`

Merge pull request #1419 from asantoz/minor-fix-doc

Minor issue on api docs

Minor issue on api docs

Fix a minor issue on API docs in details endpoint example :pray:

recreate interpolations when one of their support nodes changes

A simple update is not enough because the interpolation splits
might change as well as the housenumbers.

Fixes #1360.

Reset housenumber on every place update

As it is a computed field, it needs to be computed from scratch
to take into account any surrounding changes.

Fixes #1395.

remove visibility modifier from constants again

Only supported on PHP >= 7.1.

Merge pull request #1415 from nslxndr/fix-db-log

Fix DB log

Fix SQL concatenation for new query log

lib/log.php broke after switch to PDO DB abstraction

Merge pull request #1414 from lonvia/remove-more-places-from-address

Remove more places from address ranking

adapt tests to new place address ranks

Remove county places and Regierungsbezirke vom German addresses

generally remove all country and state places from address

Gets rid of the hard-coded expection for place nodes and sets
the address rank generally via the address level config instead.
That means only administrative boundaries are now used at that
level in addresses.

Merge pull request #1412 from lonvia/rewrite-wordset-computation

Rework word set computation

Rework word set computation

Switch from an recursive algorithm for computing the word sets
to an iterative one that benefits from caching intermediate
results. This considerably reduces the amount of memory needed,
so that the depth restriction can be dropped. To ensure that
the number of word sets remains manageable, only sets up to
a certain length are accepted and only a certain number of
total word sets. If word sets need to be dropped, we drop
the ones with more words per word set first.

To further reduce the number of potential word sets, the valid
tokens are looked up first and then only word sets containing
valid tokens are computed.

Fixes #1403, #1404 and #654.

remove historic:neighbourhood from address ranks

Should not be reverse searchable.

Fixes #1379.

use real centroid when looking for near roads

The point-on-surface may be at the corner in large objects, so
that roads are too far away.

Fixes #1389.

update osm2pgsql (downgrading unnamed places)

Also adds tests for updating unnamed places.

update osm2pgsql (import special tags)