move import-data option to native python

This adds a new dependecy to the Python psutil package.

introduce custom object for cmdline arguments

Allows to define special functions over the arguments.

Also splits CLI tests in two files as they have become too many.

port database setup function to python

Hide the former PHP functions in a transition command until
they are removed.

use psql for executing sql files

This allows to run larger files without needing to keep
them in memory.

add function to set up libpq environment

Instead of parsing the DSN for each external libpq program we
are going to execute, provide a function that feeds them all
necessary parameters through the environment.

osm2pgsql is the first user.

convert connect() into a context manager

Merge pull request #2185 from lonvia/fix-deadlock-handling-for-psycopg27

Improve deadlock detection for various versions of psycopg2

improve deadlock detection for various versions of psycopg2

Psycopg2 has changed the kind of exception that is emitted on
deadlocks between versions 2.7 and 2.8. The code was already
trying to catch both kind of errors but because the
psycopg2.errors package is unknown in 2.7 and below, the
code would throw an exception on anything but a deadlock error.

This commit wraps the deadlock handling into a context manager
to avoid code duplication and uses module imports to detect if
the new error codes are available.

Also sets the required psycopg2 version to 2.7 or bigger as
versions below are difficult to test.

Merge pull request #2182 from lonvia/change-error-for-details

Return 404 for details when no object is found in database

return 404 for details when no bject is found in database

Fixes #2157.

Merge pull request #2181 from lonvia/port-more-tool-functions-to-python

Port more tool functions to python

avoid os.environ as default valie

fix return code for check database run with 'not applicable'

bdd tests: directly call python code for setup-website

port setup-website to python

add unit tests for new check_database code

port check-database function to python

This change also adapts the hints to use the nominatim tool.
Slightly changed checks, so that they are just as effective on
a frozen database.

use a frozen DB for API tests

This way we also test that dropping does the right thing.

remove unused code

port freeze function to python

Merge pull request #2173 from lonvia/penality-for-housenumberless-places

Increase penalty for places without housenumber

Merge pull request #2174 from lonvia/disable-jit-for-osm2pgsql-again

Disable JIT and parallel execution for osm2pgsql updates again

disable JIT and parallel execution for osm2pgsql updates again

The gazetteer output doesn't disable these functions when
writing to the place table but the triggers may contain
operations that cause misplanning for the query planner.

add simple test for result splitting with multiple ranks

increase penalty for places without housenumber

Results where the housenumber was dropped are an unlikely result
when they refer to something other than a street. Therefore
increase their result rank so that other matches are tried first
before choosing them as a result.

Improves #2167.

Merge pull request #2166 from mtmail/tiger-2020

documentation: 2020 TIGER data got released

Merge pull request #2171 from lonvia/update-vagrant-scripts-for-make-install

Update vagrant scripts for make install

switch vagrant scripts to make install

use file copy on older cmake to install osm2pgsql

Fixes #2170.

ignore failure to get replication date

documentation: 2020 TIGER data got released

Merge pull request #2164 from lonvia/add-make-install

Make Nominatim installable

always return 0 for updates unless there is an error

This is more in line with previous behavioru than returning
a status code when no updates are available.

docs: adapt check-database command

actions: remove install directories before import

This ensures that any dangling references to the build
or source directory are caught by the CI.

need test database for analysing cli test

actions: test import with installed version of Nominatim

add 'make install' to installation instructions

test for existance of country grid in cmake already

Given that the file potentially gets installed, it needs to be
present during build time already. Checking during the import
is too late.

make installation targets conditional to what is built

add make install target

Installation includes PHP andPython libraries, settings, the basic
country data, the postgresql module and our custom version of
osm2pgsql. The latter is installed in our private library directory
so that it does not get in the way of a potentially installed
osm2pgsql from the distribution.

adapt unit tests to new directory structure

use DataDir constant for data only

So far the data directory constant has pointed to the source
directory to be usable with different subdirectories. Now only
the data subdirectory itself is being used with the constant,
so point to the directory directly.

forgot to replace one occurence of sql_dir

remove unused BINDIR constant

introduce constant for configuration directory

This replaces {data_dir}/settings throughout the code, so that
the configuration may be placed somewhere else in the directory
structure (e.g. in /etc).

rename sql directory to lib-sql

Also introduces a separate constant for the sql directory, so that
it can be put separately from the rest of the data if required.

rename lib to lib-php

update osm2pgsql (disable install rule)

integrate analyse of indexing into nominatim tool

consolidate warm and db-check into single admin command

split cli.py by subcommands

Reduces file size below 1000 lines.

move website into php library directory

move postcode table setup to sql/

Also moves the call to the setup from the setup-db
step to the calculate-postcodes step. The tables also need
no longer be accessible by the webservice.

remove unused SQL script

fix off-by-one error in replication download

Merge pull request #2161 from lonvia/timeout-for-replication

Reintroduce timeout for replication file download

reintroduce timeout for replication file download

This ports the --socket-timeout parameter from
pyosmium-get-changes which ensures that the update
process eventually times out on hanging network connections.

Merge pull request #2160 from lonvia/introduce-project-dir

Officially introduce and recommend use of a project directory

replace make serve with nominatim serve command

With the website directory now tied to the project directory instead
of the build directory, it is no longer possible to use make for
running the web server.

add migration info for status table

Revert "increase splitting for large geometries"

This reverts commit 559fe513fa8ffa3a5bc3a7d07c252a872614c073.

Increasing the splitting results in geometries where with rounding
issues at the split points, so that contain operations do not
work as expected anymore.

Fixes #2137.

adapt quick start instructions in README to project dir

do not overwrite custom set module paths

Given that the module is now copied to the project directory
when no module path is set, we need the information that the
module path is empty. Therefore hand in the default module path
in a separate variable.

print project directory before running any command

make phpcs happy

actions: switch to using separate project dir

Also fixes reverse-only import which not run at all.

docs: add hint about putting the nominatim tool into the PATH

copy database module on install

When no explicity database module is configured, then the
module is now copied into the project directory and used from
there. This means that Nominatim can be updated to a new
version of the module while existing installation keep their
version of normalisation.

hand in absolute path to nominatim tool to php scripts

refer to new nominatim tool in configuration comments

change the default location for external data to project dir

actions: revert to reletive paths for caching

actions: remove setting custom .env

It only set the pyosmium-get-changes binary which is no longer
needed.

remove pyosmium-get-changes detection from cmake

pyosmium-get-changes is not longer used.

Merge pull request #2155 from lonvia/port-regresh-to-python

Port replication and part of the refrsh function to native Python

print nice summary after updates

fix linting issues

disable warning about non-toplevel import

They are needed here so nominatim can be run when osmium
is not installed. Everything except replication will work fine.

introduce custom UsageError

This is a exception to be thrown when the error occures because
of bad user data. We don't want to print a full stack trace in
these cases but just tell the user what went wrong.

remove setting for PYOSMIUM_BINARY

pyosmium is now called as a library from the python code,
so that pyosmium-get-changes is no longer needed.

whitelist pyosmium for pylint

port replication update function to python

port check-for-update function to python

Merge pull request #2153 from rizkyarlin/patch-1

fix indentation

fix indentation

port replication initialisation to Python

convert functon creation to python

The new functions always creates normal and partitioned functions.
Also adds specialised connection and cursor classes for adding
frequently used helper functions.

port address level computation to Python

Also adds simple tests for correct table creation.

move update code for postcode and word count to Python

Adds also tests for the new function to execute a SQL script.

cli: import python modules for commands on demand

Given that only one command will be executed in the end, it is
not necessary to import what amounts to the whole library. This
becomes in particular important for update functions that have
a dependency on pyosmium. The dependency can remain optional for
people not using updates.

remove API comparison util

This is outdated and unmaintained. There are tools out there
which can do this better. Try, for example
https://github.com/radarlabs/api-diff

Merge pull request #2147 from lonvia/tests-for-python-code

Add basic set of tests for Python code

cli indexer tests need a fake database

The Indexer constructor opens a connection to the given database.

add more tests for CLI parameter parser

add tests for indexer

add simple tests for CLI parsing

optionally hand in command line arguments to CLI functions

Allows easier testing.

use pytest mocking functions for manipulating os.environ

add tests for Python exec_utils