Merge pull request #2143 from lonvia/integrate-indexer-into-nominatim-tool

Integrate indexer into nominatim tool

remove old nominatim.py in favour of 'nominatim index'

The PHP scripts need to know the position of the nominatim
tool in order to call it. This is handed in as environment
variable, so it can be set by the Python script.

implementaion of 'nominatim index'

move indexing function into its own Python module

This makes it mow a standard function of our new Python
library instead of a stand-alone program.

add function to get a DSN for psycopg

Converts the PHP DSN syntax into psycopg syntax when necessary.

Merge pull request #2142 from lonvia/update-bdd-api-tests

Update BDD API tests

bdd: complete coverage for API tests

Also removes some functions that are no longer used and
fixes debug output where the tests found an issue.

remove unused output formatting functions

bdd: remove duplicated tests

bdd: clean up and extend API tests for details

- remove duplicates created by replacing HTML tests
  with JSON tests
- add tests for newer functions for returning geometries
  and hierarchies

collect coverage for /website directory as well

Merge pull request #2139 from lonvia/add-pytest

Introduce unit testing for Python code

pytest may also be installed as py-test[-3]

enable pytest testing in CI

add documentation for new pytest tests

add pytest as a test goal in cmake

add initial pytest test for Configuration

Merge pull request #2136 from lonvia/introduce-pylint

Introduce pylint for code style checking for Python.

pylint may be available as pylint3 or pylint

use check parameter of subprocess.run

...instead of checking on our own.

Also increase required version of Python to 3.5 because of
subprocess.run().

add pylint to list of required linting tools

With pylint being run in the CI, passing it is required now.

fix errors reported by pylint

Merge pull request #2135 from lonvia/python-frontend

Introduce new 'nominatim' all-in-one command-line tool

fix typo

replace Symfony dotenv dependency with Python dotenv

bdd: directly call utility scripts in lib

This removes the dependency on php-symfony-dotenv for the tests.

move dotenv parsing to installed PHP scripts

This means that the php-symfony-dotenv library is now only needed
when using the legacy scripts. This includes the BDD tests which
currently still rely on the PHP utils.

use cli tool for github CI

forward cli tool return value as exit code

adapt documentation to new nominatim cli tool

maller command execution fixes

make sure that environment variables have highest prio

liniting of new python code

add wrapper calls for all nominatim tool functions

avoid accessing constants when getting data from env

When a setting can be read from the environment variable, avoid
accessing the internal defaults. This way the scripts can be
accessed directly in \lib as long as the environment is set up
correctly with full defaults.

fix access to environment variable

implement warming in new cli tool

Adds infrastructure for calling the legacy PHP scripts. As the
CONST_* values cannot be set from the python script, hand the values
in via secret environment variables instead. These are all
temporary hacks for the transition phase to python code.

warm.php needs constant setup for queries

Warming is done using the query classes and therefore the same
copy-over from dotenv settings to CONST_* parameters is needed
as for query.php.

set CONST_LibDir directly from the source scripts

Now that the source scripts have been moved to \lib, they
can determine the position of the PHP library relative to
themselves.

move PHP utilities into the lib directory

These are not called directly as programs but used in a library
fashion by the installed utilities. So the library directory
is a better place.

consolidate cli interface to single tool

create skeleton for new CLI tools

add skeleton for new Nominatim executables

Merge pull request #2132 from lonvia/reduce-api-testdb

Reduce BDD API test database to Liechtenstein

also run BDD API tests in CI

test can be run all in one go with make

update documentation for new BDD API tests

bdd: add new API test data

Make all data necessary for API tests directly available in the
repository.

bdd: convert API tests to smaller test db

Changes BDD API tests to restrict themselves to
Liechtenstein. One test moved to DB as no appropriate
data is available.

bdd: improve assert output for API query checks

Adds wrapper function for checking address parts and
more explanation strings to asserts.

bdd: import API test DB as part of step setup

In the future, the BDD tests will simply set up the required
test database themselves. Like with the template database, it
is not reimported when it already exists unless that is explicitly
forced.

Makes most of the API tests currently fail because they still
point to old test data.

Merge pull request #2129 from lonvia/cleanup-bdd-tests

Clean up Python support code for BDD tests

add symphony dotenv to prerequisites list

use relative dir for sources for phpunit

bdd: clean up DB ops steps

Adds comments and modernizes code.

bdd: move column comparison in separate file

Introduces a new class DBRow that encapsulates the comparison
functions. This also is responsible for formatting more informative
assert messages. place and placex steps are unified.

bdd: move nominitim id reader to separate file

bdd: factor out reindexing on updates

bdd: move place table inserter into separate file

Also simplifies usage by implementing a function that inserts
a complete table row.

bdd: move scene setup to OSM data steps

The step has nothing to do with the database.

bdd: switch to auto commit mode

Put the connection to the test database into auto-commit mode
and get rid of the explicit commits. Also use cursors always in
context managers and unify the two implementations that copy
data from the place table.

bdd: remove class for lazy formatting

assert in combination with format() does the right thing and calls
the __str__() method only when an assertion hits.

bdd: rename db_ops steps

Now all files implementing steps are called steps_*.py.

bdd: move output format computation into response

bdd: move Response classes in own file and simplify

Removes most of the duplicated parse functions, introduces
a common assert_field function with a more expressive error
message.

bdd: rename and clean up osm_data steps

Move common OPL creation code into a function and remove
unused imports.

bdd: move external process execution in separate func

bdd: move NominatimEnvironment into separate file

Also cleans up and modernizes the code and adds documentation.

bdd: move grid generation code into geometry factory

bdd: move geoemtry creation into separate file

Also renames the OsmDataFactory in the more appropriate
GeometryFactory and modernizes code for python3.

remove stale code for python2

Merge pull request #2125 from lonvia/independent-project-directory

Allow for truely independent project directory

create a temporary project dir for tests

The project directory contains the website script as
configured through the test configuration. This means
that tests are now completely independet of any
configuration that may be contained in the build
directory.

Also removes the hack to inject additional settings via
a environment variable.

configure osm2pgsql and module location via cmake

The default location of osm2pgsql and the postgresql module
is decided at compile/installation time and is not necessarily
in the project directory.

With this change it is now possible to have a project directory
that is completely separate from the build directory.

Merge pull request #2124 from lonvia/remove-nose

Remove nose dependency for tests

remove nose requirement from documentation

replace nose assertions with simple asserts

Merge pull request #2119 from mtmail/check-import-finished-when-tables-droped

utils/check_import_finished: skip some checks when setup ran with --drop

Merge pull request #2118 from mtmail/vagrant-ubuntu-dotenv

Vagrant ubuntu: install dotenv package

utils/check_import_finished: skip some checks when setup ran with --drop

Vagrant ubuntu: install dotenv package

Merge pull request #2115 from lonvia/use-dotenv

Switch configuration to dotenv

switch documentation to describing dotenv

adapt instructions for creating the test db to dotenv

mark CentOS installation instructions as broken

Getting symfony-dotenv installed on CentOS is a major pain,
so just mark it broken instead.

Still sSwitch the config format to dotenv already.

tests: always create the config file

There is also one database test that uses the API functions.

adapt php tests to new directory constants

make phpcs happy

github actions: need dotenv

move creation of website scripts to setup script

Instead of creating the website wrapper scripts with cmake,
they are now created when --setup-website is called. The
setup of the configuration constants is directly embedded
into the scripts. This means we can get rid of the separate
settings-frontend.php. More importantly however, it means
that it is now possible to set up multiple website directories
from the same build directory.

adapt tests to new dotenv environment

DB tests now can simply set the environment to change configuration
variables. API tests still rely on a configuration file.

Also, query.php needs to set up the CONST_* variables to work with
the query scripts. That is a tiny bit messy and duplicates code
but this part will need to be reworked later.

fix various typos

remove old default settings

switch all utils to initialising dotenv

switch remaining settings to dotenv format

CONST_Search_AreaPolygons and CONST_Search_ReversePlanForAll have
been removed completely.

use explicit DSN for website scripts

Website scripts have no access to the dotenv variables, so use
the DSN constant instead when connecting to the database.

replace database settings with dotenv variant

As we can't refer to the project root dir in the module path, the
module path may now also be a relative directory which is then
taken as being relative to the project root path.

Moves the checkModulePresence() function into the Setup class, so
that it can work on the computed absolute module path.

introduce dotenv parsing for setup.php

This adds the notion of a project directory. This is the directory
that holds all necessary files for one specific installation of
Nominatim. Dotenv looks for an .env file in this directory and
adds it to the global environment together with the defaults from
Nominatim's data directory.

Add's symfony's dotenv library as a new dependency.

make HTTP proxy setup explicit

The setup relies on the project configuration which we want to
explicitly set up in later steps. Therefore proxy setup needs to
be done explicitly as well. There is the added bonus that the
setup is done only for the utils which try to call outside.

reorganise path settings in config

CONST_BasePath is split into separate configuration variables
for binaries, libraries and data. These variables as well as
the installation path are now set in the executable directly and
no longer configurable via project settings.

This is the first step towards an installable software. The
executables should know per installation where to find their
necessary data to execute. Project configuration needs to be
restricted to settings that really concern the specific Nominatim
installation.