restructure developer's manual

Add a section on setting up the development environment which now
also includes the former chapter on recreating the documentation.
Move the README from test/ into the manual as the new Testing
chapter.

make CentOS 8 the default vagrant script

This puts it in line with the Ubunutu scripts.

adapt Ubunut-20 vagrant file to triple webserver config

restructure webserver setup in ubuntu 18 script

Unify the two vagrant scripts for Ubuntu 18. The script can now
be run in three modes: no webserver, with apache, with nginx.
The default mode is to not install any webserver at all. This is
normally sufficient when just developping.

The commit also switches from bento to generic boxes and adds config
for running with a libvirt provider. You need an NFS deamon for
synchronized folders.

add 'make serve-global'

This runs the PHP development server in a mode where it listens
globally. This is needed when running inside vagrant and port-forwarding
to the host machine.

remove host from default website URL

Just assume that Nominatim runs under the root URL. This is a
more versatile base that also makes 'make serve' work out of the
box.

docs: move webserver installation into separate chapter

Merge pull request #1940 from mtmail/north-macedonia

country_name Macedonia => North Macedonia

country_name Macedonia => North Macedonia

Merge pull request #1936 from lonvia/tweeking-of-ranks

More fine tuning of default rank assignments

adapt tests to ranking changes

tweak size of large POIs

Further reduce the size from which on POIs are no longer bound
to streets but only to larger objects. The point of reference,
of what a largest POI could be that is still bound is JFK airport.

address rank adjustment for addressable boundaries only

Only administrative boundaries with an address rank need
to be adjusted. Otherwise just handle them like any other
object.

improve fallback ranking

Boundaries and places now always get a rank < 26 to make sure that
they do not parent to a street. Skip boundary=place completely
because they will be covered throught the secondary place tag.

Merge pull request #1934 from lonvia/fix-deletion-of-large-highway-areas

Do not block deletion of large highway areas

do not block deletion of large highway areas

Deletion of areas should only e blocked for addressable features.
Streets and POIs do not have a large impact on updates.

place lookup: filter places that have no details

In rare cases search_name might have entries for places for
which we do not return details, in particular for linkees.
Need to remove those entries in the result list before returning
the details.

Fixes #1932.

Merge pull request #1931 from lonvia/stable-sort-for-results

Reranking of results must be stable

ensure that ordering by importance is stable

The initial search results retrieved from the database already come
preordered, either by importnace or by distance. We want to keep
that order if all other things are equal.

PlaceLookup should return results in input order

Merge pull request #1930 from lonvia/add-support-for-squares

Add support for place=square

add support for place=square

Squares are now addressable (on address level 25) and thus can
be attached to a house number via addr:place. Needed to increase
the rank range for matching up addr:place to 25.

do not run rank 0 objects in parallel

Waterways are at address rank 0 and do linking. This might lead to
deadlocks.

Merge pull request #1926 from lonvia/speed-up-location-lookup

Increase splitting for large geometries

tests: use larger grid to avoid rouding errors

increase splitting for large geometries

When computing the address parts for a geometry, we need to do
a ST_Relates lookup in the location_area_large_* tables. This is
potentially very expensive for geometries with many vertices.
There is already a funtion for splitting large areas to reduce the
impact. This commit reduces the minimum area of a split, effectively
increasing the number of splits.

The effect on database size is minimal (around 3% increase), while
the indexing speed for streets increases by a good 60%.

Merge pull request #1923 from lonvia/split-indexing-for-boundries

Rework indexing order of places

Merge pull request #1924 from lonvia/installation-instructions-external-server

docs: installation hints for external databases

docs: installation hints for external databases

Fixes #1882.

Merge pull request #1921 from lonvia/skip-over-traffic-signs

Remove traffic signs from full styles

make sure that addr:* tags can always be searched for

Always add contents of addr:* tags into address part of the search
table, even when there is no corresponding other name. This keeps
search tolerant to the kind of tagging where parts show up in the
address that have no corresponding object in the database or where
it is only an unaddressable object.

add migration for new indxing schema

switch indexind to address rank

A place needs all lower address rank object indexed to make up
the address. The search rank no longer ensures that as it can have
a different ordering than the address rank.

This switches indexing rank order to address ranks. Non-address
objects (with address rank 0) are indexed together with POIs.

use only centroid to get parent admin boundaries

Using the full geometry is far too expensive.

nominatim: also index boundaries by rank

We need to make sure that the entry in serach_name from a lower rank
is indeed available.

index admin boundaries before everything else

Avoids irregularities that might happen because the address
rank of a boundary is changed through linking.

nominatim: move DBConnection class into its own file

remove traffic signs from full styles

Traffic signs rarely have name and are therefore mostly not
searchable. Remove them completely. Allow street lamps only when
they have a name. Removes about 2M object from a planet instance.

Merge pull request #1920 from lonvia/remove-linked-place-when-updating

Remove linked_place from extratags when updating

remove linked_place from extratags when updating

Before updating an admin boundary we need to make sure that any
artificially generated 'linked_place' entry is removed from the
extratags column. This ensures that the place designation does
not linger when a linked place disappears and that it is updated
when the linking changes.

Merge pull request #1919 from lonvia/tests-for-ranking

More tests and fixes for address rank computation

use address rank for address forming when available

boundary address ranks must not go above 25

Fixes #1914.

add simple tests for address rank computation

also take place tags into account for address rank

An admin boundary might have a place tag but no matching place node.
We still should use the place value as indicator for the address
rank in this case.

Merge pull request #1917 from lonvia/docs-rank-levels

docs: add tables for the meaning of address and search ranks

docs: add tables for the meaning of address and search ranks

Also makes tables a bit more readable by adding margins and better
headers.

Merge pull request #1918 from lonvia/remove-more-osmosis-init

remove more traces of --osmosis-init switch

remove more traces of osmosis-init

Merge pull request #1912 from lonvia/remove-unused-import-update-functions

remove unused functions from setup and update

remove unused functions from setup and update

Removes the defunct --osmosis-init and --no-api switches and the
unsupported (and unnecessary) deduplicate. Also removes
'experimental' from --setup-website as this is a required
function now.

Merge pull request #1909 from lonvia/minor-fixes

Make SQL debug statements execute again

Make SQL debug statements execute again

There were some old variable names used that are no longer valid.
Either fix them or remove the statement completely.

Fixes #1907.

Merge pull request #1865 from mtmail/how-to-import-test-db

test/README.md - more instructions how to import test db

Merge pull request #1902 from lonvia/avoid-touching-boundaries-in-addresses

Be more strict what areas make up an address

Merge pull request #1901 from lonvia/speed-up-indexing

Batch-index places at rank 30

be more strict what areas make up an address

Exclude boundaries that touch a line in only one point and
that touch areas only along the boundary.

Fixes #1900.

adapt test results to new ranking

indexer: allow batch processing of places

Request and process multiple place_ids at once so that
Postgres can make better use of caching and there are less
transactions running.

indexer: move progress tracker into separate class

indexer: get rid of special handling of few places

Given that we do not distiribute geometry sectors to threads anymore,
there is no point in this kind of special handling.

Merge pull request #1899 from mtmail/use-new-dsn-format-in-vagrant-md

VAGRANT.md: we use different database DSN syntax these days

VAGRANT.md: we use different database DSN syntax these days

test/README.md - more instructions how to import test db

Merge pull request #1898 from lonvia/show-housenumber-with-housename

make house number reappear in display name on named POIs

make house number reappear in display name on named POIs

After 6cc6cf950c3c08103e6159a079c85b5a4f1c09fa names and house numbers
of POIS got mingled into a single item when creating the display name.
Add the house number as extra information without place_id to avoid
later mangling.

Merge pull request #1894 from lonvia/fix-hierarchy-by-admin-level

Preserve admin level hierarchy between admin boundaries

Merge pull request #1895 from lonvia/update-less-quiet

Make indexing during updates less quiet

make indexing during updates less quiet

Adjust verbosity behaviour to that of indexing during setup.

preserve admin level hierarchy between admin boundaries

When the address rank of an admin boundary is changed because
of an attached place type, it may happen that the admin_level
hierarchy gets inversed. Avoid that by adjusting the address
rank if an inversion is detected.

Merge pull request #1891 from lonvia/automatic-db-setup

Implicitly connect to database during setup

test: make road really cross the boundary

remove connect() in update script

This is now implicit.

implicitly connect to database during setup

Make access to the DB object a function, so that the connection
can be opened implicitly when the object is accessed for the first
time. This way we no longer need to check beforehand if a specific
function of the setup needs DB access or not.

Also move the check for the module to the relevant sub step.

Merge pull request #1890 from lonvia/add-wiki-tags-to-all-styles

Add wiki tags to all styles

add wiki tags to all styles

wikipedia and wikidata tags are needed to compute the importance
so we need to put them into extra tags for all styles.

Fixes #1885.

forgit to adapt info message

Merge pull request #1874 from joy-yyd/rank_modification

 House number search fix for #164

Merge pull request #1884 from lonvia/fixes-for-webserver-settigns

Small fixes for new webserver settings file

move website settings back to settings/

We don't want the settings to become visible when a server is
accidentally configured wrongly.

log file is a string when not set to false

Modifiy the range of address_rank, fix for issue #164

Merge pull request #1873 from lonvia/resurrect-debug-option

Reenable debug parameter

default language is a string when not set to false

reenable debug parameter

The parameter got lost when switching to website settings.
Given that the use of a fixed parameter is limited,
debugging output can now only be set via the URL parameter.

Merge pull request #1869 from lonvia/migration-for-setup-website

docs: add migration for new --setup-website step

Merge pull request #1868 from lonvia/reverse-for-addressable-places-only

reverse: ignore place nodes without an address rank

docs: add migration for new --setup-website step

reverse: ignore place nodes without an address rank

We already exclude all polygon places without an address
rank. place nodes should also be ignored. This removes
places like locality from the reverse results.

Fixes #1839.

docs: rename documentation chapter

Avoids confusion about this being the documentation itself.

docs: move external data sources into simple page

Merge branch 'move-datasources-into-separate-repos' of https://github.com/mtmail/Nominatim into mtmail-move-datasources-into-separate-repos

Merge pull request #1864 from lonvia/langauge-specific-presuffixes

exclude language-specific name:prefix and name:suffix

Merge pull request #1829 from krahulreddy/websiteSetup

Added setup-website option

Merge pull request #1857 from mtmail/db-migration-update-functions

Migration.md - admin also need to run recreate db functions

exclude language-specific name:prefix and name:suffix

There are about 1k suffixes and 20k prefixes with a
language-speicfic variant in use. These should not
show up as names.

move data-sources/ directory in new git repos

Migration.md - admin also need to run recreate db functions

sql: fix rank variable type

The rank type needs to match the parameter type of
update_place_diameter().

Fixes #1851.

Merge pull request #1858 from lonvia/update-osm2pgsql

Update osm2pgsql