Rework word set computation

Switch from an recursive algorithm for computing the word sets
to an iterative one that benefits from caching intermediate
results. This considerably reduces the amount of memory needed,
so that the depth restriction can be dropped. To ensure that
the number of word sets remains manageable, only sets up to
a certain length are accepted and only a certain number of
total word sets. If word sets need to be dropped, we drop
the ones with more words per word set first.

To further reduce the number of potential word sets, the valid
tokens are looked up first and then only word sets containing
valid tokens are computed.

Fixes #1403, #1404 and #654.

remove historic:neighbourhood from address ranks

Should not be reverse searchable.

Fixes #1379.

use real centroid when looking for near roads

The point-on-surface may be at the corner in large objects, so
that roads are too far away.

Fixes #1389.

update osm2pgsql (downgrading unnamed places)

Also adds tests for updating unnamed places.

update osm2pgsql (import special tags)

Merge pull request #1381 from mtmail/faq-entry-about-managed-database-services

FAQ entry about managed database services

Merge pull request #1394 from mtmail/update-postcodes-without-colon

exclude postcode ranges separated by colon from centre point calculation

Merge pull request #1388 from mtmail/register-shutdown-function

register shutdown function to handle out-of-memory errors

Ubuntu18-nginx install instructions - fix php-fpm socket path (#1398)

Ubuntu18-nginx install instructions - fix php-fpm socket path

exclude postcode ranges separated by colon from centre point calculation

Merge pull request #1387 from joto/master

Fix some minor issues in docs.

Revert layout changes in list.

register shutdown function to handle out-of-memory errors

Fix some minor issues in docs.

FAQ entry about managed database services

Merge pull request #1372 from lonvia/raise-postgres-version

increase minimum versions for PostgreSQL, Postgis and PHP

increase minimum versions for PostgreSQL, Postgis and PHP

Remove checks and hacks for older versions.

prepare for 3.3.0 release

add documentation for new reverse zoom 17

Convert importance to float value

Fixes #1369.

fix indent in docs

Merge branch 'markdown-syntax-fix-gb-postcodes' of https://github.com/mtmail/Nominatim into mtmail-markdown-syntax-fix-gb-postcodes

Readme for GB postcodes had markdown syntax error

Ignore no-fatal errors during dump file restore

The owner should never be restored, the table should be owned
by the caller instead. Non-existing indexes and similar only
started to throw a warning with Postgresql 9.4 and later, so
ignore them explicitly there.

Merge pull request #1321 from mtmail/interpolating-0-housenumbers

Support housenumber=0 in interpolations

Merge pull request #1359 from mtmail/fix-export-script

utils/export.php broke after switch to PDO DB abstraction

utils/export.php broke after switch to PDO DB abstraction

Merge pull request #1358 from mtmail/travis-php-7dot1

travis-CI: use PHP 7.1

travis-CI: use PHP 7.1

exclude all objects without address rank from reverse

This was forgotten when looking for a housenumber for
a street point.

Fixes #1319.

add reverse zoom level that includes minor streets

Zoom 17 now also resolves service roads and similar.

Fixes #1350.

isaddress field may be missing in details view

Merge branch 'observe-bounded-viewbox-in-postcode-search' of https://github.com/mtmail/Nominatim into mtmail-observe-bounded-viewbox-in-postcode-search

Merge pull request #1336 from mtmail/faq-entry-about-buffer-not-owned

New FAQ entry about -buffer is not owned by resource owner-

Merge pull request #1348 from mtmail/checkmodulepresence-to-raise-exception

checkModulePresence now raises exception instead of its callers

Merge pull request #1347 from mtmail/pdo-returns-proper-boolean

PDO library returns proper boolean. We dont need string comparison

Ensure that postcode relations are used in addresses

Postcode nodes are normally thrown away as they only play
a role for computing artifical postcodes. However, if we
have a postcode area this still should take part of the
address.

Fixes #1330.

checkModulePresence now raises exception instead of its callers

PDO library returns proper boolean. We dont need string comparison

Support housenumber=0 in interpolations

On postcode searches observe given bounded viewbox

add test for issue #1343

Keyword details for countries (which don't have address details).

if nameaddress_vector was {} the database queries failed

New FAQ entry about -buffer is not owned by resource owner-

Merge pull request #1334 from mtmail/fix-PDOException-call

PDOException call in catch was causing exception itself

PDOException call in catch was causing exception itself

Merge pull request #1333 from Arun179/patch-1

Rectified a small spelling mistake

Rectified a small spelling mistake

changed "mailinglist" to "mailing list"

Merge pull request #1328 from mtmail/php-pdo-with-prepare

Nominatim::DB support input variables, custom error messages

Nominatim::DB support input variables, custom error messages

Merge pull request #1318 from mtmail/php-pdo

replace database abstraction DB with PDO

replace database abstraction DB with PDO

add logEnd to reverse.php, just like search.php

Merge pull request #1315 from mtmail/ui-initialize-switch-to-reverse-link

UI: update the switch-to-reverse link after each map click

Merge pull request #1314 from mtmail/query-php-5dot4

query.php - we no longer support PHP < 5.4

UI: update the switch-to-reverse link after each map click

query.php - we no longer support PHP < 5.4

downgrade housenumbers without numbers

Fixes #1312.

Change accepted features for reverse geocoding at rank 30

Always exclude line features (removes railways, tunnels,
piers, historical streets etc.) and boundaries (removes
electoral, historical boundaries etc.)

Fixes #1313.

add osm_id index for osmline table

Needed when deleting address interpolation.

add hint that setup.php must be run from build directory

Fixes #1307.

Merge pull request #1295 from mtmail/move-searchrank-labels-to-php

Remove get_addressrank_label. Move get_searchrank_label to PHP

Merge pull request #1294 from mtmail/behave-support-for-DB-PORT

BDD: support for DB_PORT environment variable

Merge pull request #1305 from mtmail/travis-ci-ubuntu-16

Travis CI Ubuntu 14 => Ubuntu 16

BDD: support for DB_PORT environment variable

Travis CI Ubuntu 14 => Ubuntu 16

Remove get_addressrank_label. Move get_searchrank_label to PHP

Merge pull request #1282 from lonvia/remove-self-from-place-addressline

Remove self from place addressline

docs: adapt sizes to smaller place_address table

remove self-reference from place-addressline

Merge pull request #1304 from mtmail/travis-use-composer-instead-of-pear-install

pear.php.net offline. Use composer instead of pear install

Merge pull request #1303 from mtmail/remove-deprecated-phpunit-config-key

remove phpunit config key deprecated since version 3.5

pear.php.net offline. Use composer instead of pear install

remove phpunit config key deprecated since version 3.5

Merge pull request #1296 from mtmail/readme-markdown-syntax-error

README: tiny markdown syntax error

README: tiny markdown syntax error

Do not allow --no-index together with --import-osmosis-all

Fixes #1283.

set import_status when indexing only

Makes sure that things work as expected when running
`--import-osmosis --no-index` and `--index` separately.

Fixes #1284.

ignore admin boundary ways for countries and states

Countries and states are mapped world-wide as relations by now.

Fixes #543 and #1291.

Merge pull request #1277 from lonvia/osm2pgsql-import-from-json

Osm2pgsql import from json style file

postcodes also need fallback

add final missing import numbers

update osm2pgsql (custom style)

more style docs

add tests for import of interpolations

add postcodes and interpolations to osm2pgsql style

document import style variants

fix typo

fixup admin import style and add two new ones

Remove unnamed landuses and postcode points from
importing. The latter will cause all objects with
address tags to be imported after all. Not expected
in the admin import style.

add documentation for new import style

Switch to configurable style for osm2pgsql

Includes the full style, which is the same as now (minus
sidwalk exclusion) and a minimal style for boundaries only.

adapt warm.php to new Result objects

Fixes #1276.

keep country_osm_grid table when dropping update tables

Remove postcodes also from word table when they no longer exist

Also adds tests for postcode updates.

Fixes #1273.

Do not log file sizes in the index step on updates

Fixes #1274.

correctly discard partially matching duplicates

The same result may be found with different result ranks
in the same search loop when housenumber or postcode are
part of the name or address. In this case we need to keep
the result with the lower result rank.

Fixes #1264.

Merge pull request #1263 from mtmail/add-new-postcodes-to-searchnames

when updating GB postcodes, also run SQL getorcreate_postcode_id

documentation: when updating GB postcodes, also run SQL getorcreate_postcode_id [SKIP CI]

traverse address list backwards when computing admin levels

By starting with the lowest address level, when collecting
administrative boundaries by level, there is a better chance
to actually get the boundary when the capital of the
administrative boundary is tagged with the level of the
boundary as well.

This is just a heuristics adaption to make the best out of
the imprecise admin_level definition for place nodes.

Fixes #1261.

Don't escape slashes in json output

Fixes #1256.