Merge pull request #2161 from lonvia/timeout-for-replication

Reintroduce timeout for replication file download

reintroduce timeout for replication file download

This ports the --socket-timeout parameter from
pyosmium-get-changes which ensures that the update
process eventually times out on hanging network connections.

Merge pull request #2160 from lonvia/introduce-project-dir

Officially introduce and recommend use of a project directory

replace make serve with nominatim serve command

With the website directory now tied to the project directory instead
of the build directory, it is no longer possible to use make for
running the web server.

add migration info for status table

Revert "increase splitting for large geometries"

This reverts commit 559fe513fa8ffa3a5bc3a7d07c252a872614c073.

Increasing the splitting results in geometries where with rounding
issues at the split points, so that contain operations do not
work as expected anymore.

Fixes #2137.

adapt quick start instructions in README to project dir

do not overwrite custom set module paths

Given that the module is now copied to the project directory
when no module path is set, we need the information that the
module path is empty. Therefore hand in the default module path
in a separate variable.

print project directory before running any command

make phpcs happy

actions: switch to using separate project dir

Also fixes reverse-only import which not run at all.

docs: add hint about putting the nominatim tool into the PATH

copy database module on install

When no explicity database module is configured, then the
module is now copied into the project directory and used from
there. This means that Nominatim can be updated to a new
version of the module while existing installation keep their
version of normalisation.

hand in absolute path to nominatim tool to php scripts

refer to new nominatim tool in configuration comments

change the default location for external data to project dir

actions: revert to reletive paths for caching

actions: remove setting custom .env

It only set the pyosmium-get-changes binary which is no longer
needed.

remove pyosmium-get-changes detection from cmake

pyosmium-get-changes is not longer used.

Merge pull request #2155 from lonvia/port-regresh-to-python

Port replication and part of the refrsh function to native Python

print nice summary after updates

fix linting issues

disable warning about non-toplevel import

They are needed here so nominatim can be run when osmium
is not installed. Everything except replication will work fine.

introduce custom UsageError

This is a exception to be thrown when the error occures because
of bad user data. We don't want to print a full stack trace in
these cases but just tell the user what went wrong.

remove setting for PYOSMIUM_BINARY

pyosmium is now called as a library from the python code,
so that pyosmium-get-changes is no longer needed.

whitelist pyosmium for pylint

port replication update function to python

port check-for-update function to python

Merge pull request #2153 from rizkyarlin/patch-1

fix indentation

fix indentation

port replication initialisation to Python

convert functon creation to python

The new functions always creates normal and partitioned functions.
Also adds specialised connection and cursor classes for adding
frequently used helper functions.

port address level computation to Python

Also adds simple tests for correct table creation.

move update code for postcode and word count to Python

Adds also tests for the new function to execute a SQL script.

cli: import python modules for commands on demand

Given that only one command will be executed in the end, it is
not necessary to import what amounts to the whole library. This
becomes in particular important for update functions that have
a dependency on pyosmium. The dependency can remain optional for
people not using updates.

remove API comparison util

This is outdated and unmaintained. There are tools out there
which can do this better. Try, for example
https://github.com/radarlabs/api-diff

Merge pull request #2147 from lonvia/tests-for-python-code

Add basic set of tests for Python code

cli indexer tests need a fake database

The Indexer constructor opens a connection to the given database.

add more tests for CLI parameter parser

add tests for indexer

add simple tests for CLI parsing

optionally hand in command line arguments to CLI functions

Allows easier testing.

use pytest mocking functions for manipulating os.environ

add tests for Python exec_utils

Merge pull request #2146 from mtmail/two-typos

correct parameter name in query CLI

correct parameter name in query CLI

Merge pull request #2145 from lonvia/cli-query-functions

Add interface to search via command line tool

add API functions to nominatim tool

rename nominatim.admin to nominatim.tools

probe for php_cgi in cmake to be used for querying

Merge pull request #2143 from lonvia/integrate-indexer-into-nominatim-tool

Integrate indexer into nominatim tool

remove old nominatim.py in favour of 'nominatim index'

The PHP scripts need to know the position of the nominatim
tool in order to call it. This is handed in as environment
variable, so it can be set by the Python script.

implementaion of 'nominatim index'

move indexing function into its own Python module

This makes it mow a standard function of our new Python
library instead of a stand-alone program.

add function to get a DSN for psycopg

Converts the PHP DSN syntax into psycopg syntax when necessary.

Merge pull request #2142 from lonvia/update-bdd-api-tests

Update BDD API tests

bdd: complete coverage for API tests

Also removes some functions that are no longer used and
fixes debug output where the tests found an issue.

remove unused output formatting functions

bdd: remove duplicated tests

bdd: clean up and extend API tests for details

- remove duplicates created by replacing HTML tests
  with JSON tests
- add tests for newer functions for returning geometries
  and hierarchies

collect coverage for /website directory as well

Merge pull request #2139 from lonvia/add-pytest

Introduce unit testing for Python code

pytest may also be installed as py-test[-3]

enable pytest testing in CI

add documentation for new pytest tests

add pytest as a test goal in cmake

add initial pytest test for Configuration

Merge pull request #2136 from lonvia/introduce-pylint

Introduce pylint for code style checking for Python.

pylint may be available as pylint3 or pylint

use check parameter of subprocess.run

...instead of checking on our own.

Also increase required version of Python to 3.5 because of
subprocess.run().

add pylint to list of required linting tools

With pylint being run in the CI, passing it is required now.

fix errors reported by pylint

Merge pull request #2135 from lonvia/python-frontend

Introduce new 'nominatim' all-in-one command-line tool

fix typo

replace Symfony dotenv dependency with Python dotenv

bdd: directly call utility scripts in lib

This removes the dependency on php-symfony-dotenv for the tests.

move dotenv parsing to installed PHP scripts

This means that the php-symfony-dotenv library is now only needed
when using the legacy scripts. This includes the BDD tests which
currently still rely on the PHP utils.

use cli tool for github CI

forward cli tool return value as exit code

adapt documentation to new nominatim cli tool

maller command execution fixes

make sure that environment variables have highest prio

liniting of new python code

add wrapper calls for all nominatim tool functions

avoid accessing constants when getting data from env

When a setting can be read from the environment variable, avoid
accessing the internal defaults. This way the scripts can be
accessed directly in \lib as long as the environment is set up
correctly with full defaults.

fix access to environment variable

implement warming in new cli tool

Adds infrastructure for calling the legacy PHP scripts. As the
CONST_* values cannot be set from the python script, hand the values
in via secret environment variables instead. These are all
temporary hacks for the transition phase to python code.

warm.php needs constant setup for queries

Warming is done using the query classes and therefore the same
copy-over from dotenv settings to CONST_* parameters is needed
as for query.php.

set CONST_LibDir directly from the source scripts

Now that the source scripts have been moved to \lib, they
can determine the position of the PHP library relative to
themselves.

move PHP utilities into the lib directory

These are not called directly as programs but used in a library
fashion by the installed utilities. So the library directory
is a better place.

consolidate cli interface to single tool

create skeleton for new CLI tools

add skeleton for new Nominatim executables

Merge pull request #2132 from lonvia/reduce-api-testdb

Reduce BDD API test database to Liechtenstein

also run BDD API tests in CI

test can be run all in one go with make

update documentation for new BDD API tests

bdd: add new API test data

Make all data necessary for API tests directly available in the
repository.

bdd: convert API tests to smaller test db

Changes BDD API tests to restrict themselves to
Liechtenstein. One test moved to DB as no appropriate
data is available.

bdd: improve assert output for API query checks

Adds wrapper function for checking address parts and
more explanation strings to asserts.