bdd: move external process execution in separate func

bdd: move NominatimEnvironment into separate file

Also cleans up and modernizes the code and adds documentation.

bdd: move grid generation code into geometry factory

bdd: move geoemtry creation into separate file

Also renames the OsmDataFactory in the more appropriate
GeometryFactory and modernizes code for python3.

remove stale code for python2

Merge pull request #2125 from lonvia/independent-project-directory

Allow for truely independent project directory

create a temporary project dir for tests

The project directory contains the website script as
configured through the test configuration. This means
that tests are now completely independet of any
configuration that may be contained in the build
directory.

Also removes the hack to inject additional settings via
a environment variable.

configure osm2pgsql and module location via cmake

The default location of osm2pgsql and the postgresql module
is decided at compile/installation time and is not necessarily
in the project directory.

With this change it is now possible to have a project directory
that is completely separate from the build directory.

Merge pull request #2124 from lonvia/remove-nose

Remove nose dependency for tests

remove nose requirement from documentation

replace nose assertions with simple asserts

Merge pull request #2119 from mtmail/check-import-finished-when-tables-droped

utils/check_import_finished: skip some checks when setup ran with --drop

Merge pull request #2118 from mtmail/vagrant-ubuntu-dotenv

Vagrant ubuntu: install dotenv package

utils/check_import_finished: skip some checks when setup ran with --drop

Vagrant ubuntu: install dotenv package

Merge pull request #2115 from lonvia/use-dotenv

Switch configuration to dotenv

switch documentation to describing dotenv

adapt instructions for creating the test db to dotenv

mark CentOS installation instructions as broken

Getting symfony-dotenv installed on CentOS is a major pain,
so just mark it broken instead.

Still sSwitch the config format to dotenv already.

tests: always create the config file

There is also one database test that uses the API functions.

adapt php tests to new directory constants

make phpcs happy

github actions: need dotenv

move creation of website scripts to setup script

Instead of creating the website wrapper scripts with cmake,
they are now created when --setup-website is called. The
setup of the configuration constants is directly embedded
into the scripts. This means we can get rid of the separate
settings-frontend.php. More importantly however, it means
that it is now possible to set up multiple website directories
from the same build directory.

adapt tests to new dotenv environment

DB tests now can simply set the environment to change configuration
variables. API tests still rely on a configuration file.

Also, query.php needs to set up the CONST_* variables to work with
the query scripts. That is a tiny bit messy and duplicates code
but this part will need to be reworked later.

fix various typos

remove old default settings

switch all utils to initialising dotenv

switch remaining settings to dotenv format

CONST_Search_AreaPolygons and CONST_Search_ReversePlanForAll have
been removed completely.

use explicit DSN for website scripts

Website scripts have no access to the dotenv variables, so use
the DSN constant instead when connecting to the database.

replace database settings with dotenv variant

As we can't refer to the project root dir in the module path, the
module path may now also be a relative directory which is then
taken as being relative to the project root path.

Moves the checkModulePresence() function into the Setup class, so
that it can work on the computed absolute module path.

introduce dotenv parsing for setup.php

This adds the notion of a project directory. This is the directory
that holds all necessary files for one specific installation of
Nominatim. Dotenv looks for an .env file in this directory and
adds it to the global environment together with the defaults from
Nominatim's data directory.

Add's symfony's dotenv library as a new dependency.

make HTTP proxy setup explicit

The setup relies on the project configuration which we want to
explicitly set up in later steps. Therefore proxy setup needs to
be done explicitly as well. There is the added bonus that the
setup is done only for the utils which try to call outside.

reorganise path settings in config

CONST_BasePath is split into separate configuration variables
for binaries, libraries and data. These variables as well as
the installation path are now set in the executable directly and
no longer configurable via project settings.

This is the first step towards an installable software. The
executables should know per installation where to find their
necessary data to execute. Project configuration needs to be
restricted to settings that really concern the specific Nominatim
installation.

use /usr/bin/env for python script

Makes it easier to use the script with a virtualenv setup.

Merge pull request #2112 from lonvia/fix-tests-for-php-8

work around failing CI tests

work around failing CI tests

Force use of phpunit7 to avoid an issue with different sort order.

Issue templates: require postgres config modifications

Issue templates: more commenting of instructions

Issue templates: put instructions into comments

prepare 3.6.0 release

Merge pull request #2105 from lonvia/fix-use-of-records

Use a typed record for place info in get_addressdata

actions: run tests also on postgresql 9.5

This is the oldest version for which a postgis is available.

use a typed record for place info in get_addressdata

Older versions of Postgresql cannot handle an untyped record
for INTO.

Fixes #2100.

Merge pull request #2102 from mtmail/typo-in-reverse-md

Reverse.md: fix two typos

Reverse.md: fix two typos

Merge pull request #2101 from lonvia/update-documentation

Update documentation

fix typos

update import times

Merge pull request #2099 from lonvia/update-country-names

Dynamically update country names from OSM data

update country names

Copies all name:xx country names that are in OSM as of today
into the country name fallback table.

update country_names from OSM data

Update names in the coutry_names table on the fly from incomming
OSM country data. Adding a small sanity check that the country
must be an OSM relation and within the area where we expect the
country to be.

Merge pull request #2096 from otbutz/patch-1

Add link to discussions when creating new issue

Add link to discussions when creating new issue

remove bug reporting hints in favour of issue templates

updates to admin and develop documentation

Mostly minor updates in wording and resource consumption.

update API documentation

* remove traces of HTML output
* add details on artificial objects (see also #1671)
* add geometry output documentation for lookup
* deprecate query by ID via reverse endpoint
* remove /search/<query> query format, no longer supported
* explain better what reverse geocoding does
* lots of smaller fixes to wording

do not classify housenumbers as rare

House numbers are highly redundant, so don't even attempt to
do it as a rare name search. Greatly improves speed of such
queries.

Merge pull request #2092 from lonvia/update-osm2pgsql

Update osm2pgsql to 1.4.0 release

update osm2pgsql to 1.4.0 release

Create issue templates

Merge pull request #2090 from lonvia/avoid-contains-operator

avoid contains operator for geometries

avoid contains operator for geometries

Postgis keeps messing up use of index in some circumstances.

Merge pull request #2087 from lonvia/only-one-link-per-node

Place nodes can only be linked once against boundaries

Merge pull request #2088 from lonvia/update-osm2pgsql

update osm2pgsql

update osm2pgsql

Needs now an explicit switch to avoid propagating changes from
nodes to ways to relations.

place nodes can only be linked once against boundaries

If a place node is already linked against a boundary, it should not
be used for linking again. It is usually a sign of a mapping error,
when there are multiple boundary candidates. This change just avoids
inconsistent data in the database, it does not guarantee that the
linking is against the more correct boundary.

also add explicit cast for varchar

Merge pull request #2085 from lonvia/add-address-rank-to-xml-output

add address rank to XML output

Merge pull request #2084 from lonvia/fix-term-count

fix use of term count in partial terms

add address rank to XML output

The address rank is much more interesting than the search rank
these days because it tells something about the kind of object.

Reverse did have neither rank, so add both for consistency.

fix use of term count in partial terms

Term count for partial words is one less than the actual number
of words. Take that into account when adding to the search rank.

Fixes #2081.

Merge pull request #2082 from lonvia/compute-address-on-the-fly-II

Compute address for POIs on the fly

null entries need to be typed

compute address parts for rank 30 objects on the fly

Rank 30 objects usually use the address parts of their parent.
When the parent has address parts that are areas but not marked
as isaddress, then the parent might go through multiple administrative
areas. In that case recheck if the right area has been choosen
for the object in question instead of relying on isaddress.
Note that we really only have to do the recomputation in the
case of 'isarea = True and isaddress = False' which hopefully
keeps the number of additional geometric operations we have to do
to a minimum.

There is one more special case to be taken into account here: a
street may go through two administrative areas and a house along
that street is placed in one of the area while the addr:* tags
says it belongs to the other. In that case we must not switch
the isaddress to the one it is situated. To avoid that recheck
the address names against the name of the ara. That is not perfect
but should cover most cases.

Fixes #328.

cleanup get_addressdata

Save location data in a ROW instead of using separate varaibles
for each value.

Merge pull request #2080 from donalhunt/fix-Migration.md-typos

Migration.md: fix typos, improve style consistency and readability.

Migration.md: fix typos, improve style consistency and readability.

Merge pull request #2079 from lonvia/improve-progress-logging

Improve progress logging during indexing

improve progress logging during indexing

Wait for 2 seconds before logging the first progress, so that we
have numbers that are a bit more reliable statistically speaking.

Also provides an actual implementation for the log_interval
parameter and fixes some small style issues.

Merge pull request #2077 from lonvia/optimize-large-rank-0-areas

Restrict size of features that get a full address search

Merge pull request #2076 from lonvia/search-name-index-migration

Docs: add migration for search_name_* tables

restrict size of features that get a full address search

It would be nice to always compute addresses for rank 0 objects
over the complete geometry, so that they can be found via all
the admin boundaries that they intersect. However, there are a
couple of extramely large boundaries in OSM (like timezones)
where this results in thousands of possible address candidates
that need to be checked. Fall back to getting the address of the
centroid for them.

docs: add migration for search_name_* tables

Merge pull request #2075 from lonvia/filter-postcodes-from-location-area-large

Filter postcodes by search rank when adding to address list

filter postcodes by search rank when adding to address list

The post codes are the last part that does not fit the new
address ranking scheme. In particular, the search rank is still
relevant for choosing if a postcode should be included into
the address terms. Filter out irrelevant postcodes in
getNearFeatures() already, to avoid having to check for
geometry relation.

Merge pull request #2074 from lonvia/add-housenumber-to-unknown-places

Improve finding addresses that have their own search_name entry because of unknown addr:* parts

Merge pull request #2073 from lonvia/multi-word-partial-terms-in-search-description

Improve handling of multi-word partials in SearchDescription

make phpcs happy

do not use artificial housenumbers as names

If they are artificial they cannot have a search_name entry.

improve handling of multi-word partials in SearchDescription

Multi-word partial terms had an undue advantage over separate partial
terms because they only need to pay the penalty once. This changes
the behaviour by setting the penalty according to the number of
words in the token. This should get rid of search interpretations
with low chance of matching.

This also fixes handling of exact term matching. We now match against
all exact terms of the query, not just a couple of them collected
while building the interpretations.

Also adds a penalty to very short postcodes.

Search housenumbers with unknown address parts by housenumber term

House numbers need special handling because they may appear after
the street term. That means we canot just use them as the main name
for searches where the address has its own search term entries.
Doing this right now, we are able to find '40, Main St, Town' but not
'Main St 40, Town'.

This switches to using the housenumber token as the name term instead.
House number tokens can get special handling when building the search
query that covers the case where they come after the street.

The main disadvantage is that this once more increases the numbers
of possible search interpretation of which we have already too many.

no penalty for housenumber searches

Merge pull request #2071 from lonvia/fix-more-ranks

Search rank 30 must always go with address rank 30

Merge pull request #2070 from lonvia/unlisted-places-to-rank-25

Move unlisted places to address rank 25

search rank 30 must always go with address rank 30

move unlisted places to address rank 25

Unlisted places are derived from addr:place and as such are
still places not streets.

Merge pull request #2068 from lonvia/fix-reverse-only

Do not create POI search terms in reverse-only mode

Test --reverse-only with CI

do not create POI search terms on reverse-only

Fixes #2067.

Merge pull request #2065 from rustycamper/patch-1

viewbox arguments are no longer accepter "in any order"