Merge pull request #3273 from lonvia/search-with-sqlite

Add forward search capability for SQLite databases

add minimal documentation for the SQLite usage

error out when a SQLite database does not exist

Requires to mark the databse r/w when it is newly created in the
convert function.

enable search for sqlite conversion by default

enable all BDD API tests for sqlite

enable all API tests for sqlite and port missing features

extend sqlite converter for search tables

remove unused function

improve typing for @compiles constructs

The first parameter is in fact the self parameter referring to
the function class.

void unnecessary aliases

factor out SQL for filtering by location

Also improves on the decision if an indexed is used or not.

simplify handling of SQL lookup code for search_name

Use function classes which can be instantiated directly.

correctly close API objects during testing

clean up ST_DWithin and intersects() functions

A non-index version of ST_DWithin is not necessary. ST_Distance
can be used for that purpose. Index use for intersects can be
covered with a simple parameter.

simplify weigh_search() function

Use JSON arrays which can have mixed types and therefore have
a more logical structure than separate arrays. Avoid JSON dicts
because of their verboseness.

fix parameter formatting in sqlite debug output

enable connection pools for sqlite

Connecting is reasonably expensive because the spatialite extension
needs to be loaded. Disable pooling for tests because there is some
memory leak when quickly opening and closing QueuePools with sqlite
connections.

hide type differences between Postgres and Sqlite in custom types

Also define a custom set of operators in preparation of differences
in implementation.

Merge pull request #3108 from mtmail/remove-legacy-wikipedia-tag-syntax

These days the OSM wikipedia tab no longer contains URLs

Merge pull request #3268 from mtmail/wikipedia-file-path-warning

Improve error message when Wikipedia importance file is not found

Removed unnecessary check for --prepare-database flag

Connect using localhost instead of socket

Added changing permissions of nominatim-project dir

Added osm-import to sudoers file for tokenizer setup

Fixing CI tests for install-no-superuser

Fixed typechecking error

Added missing return types to functions

 CI tests: Removed creation of user www-data.
Removed creation of user www-data as it already exists

Fixed legacy import command
Check whether prepare-database is true, if so exit early

Disabled pylint too-many-branches

Fixed setting tokenizer property

Updated no-superuser install ci test

Added nominatim_database_webuser (www-data).
Set non-superuser password for importing

Updated check to see if osm_file is set

Fixed formatting

Updated ci tests to reflect changes in Nominatim CLI

Made sure legacy import command still works

Removed unused variable, fixed connection

Removed _is_complete_import check

Improved logic.

Fixed small oversight in mutually exclusiveness of arguments

Added new psql user for importing the data

Changed naming of flags.

Made sure legacy import is also still ok

Added check to see if hstore is loaded

Fixed ci-tests, osm-file flag

Preparing database should work without osm-file

Renamed flags

Fixed pylint warnings

Added check for hstore extension

Fixed typo

Fixed linting errors

Added version check for PostGis and Postgres

Updated CI tests to check new import flags

Added --prepare-database flag

Added --no-superuser flag

To allow import into already existing databases.
Refs: #2719

Improve error message when Wikipedia importance file is not found

actions: pin pytest-asyncio version for Ubuntu 20

Newest versions are no longer compatible with older pytest.

skip lookup with full names when there are none

Merge pull request #3263 from lonvia/near-search-penalty-inheritance

More tweaks for Python frontend search

further restrict stop search criterion

use restrict for housenumber lookups with few numbers

NearSearch needs to inherit penalty from inner search

Merge pull request #3262 from lonvia/fix-category-search

Fix use of category parameter for search() function

correctly exclude streets with housenumber searches

Street result are not subject to the full filtering in the SQL
query, so recheck.

add tests for interaction of category parameter with category terms

rename use of category as POI search to near_item

Use the term category only as a short-cut for "tuple of key and value".

the category parameter in search should result in a qualifier

Merge pull request #3260 from lonvia/improve-catgeory-search

Various improvements to search with special phrases for Python frontend

drop category tokens when they make up a full phrase

restrict base results in near search by rank

This avoids in particular that roads or POIs are used as base
for the near search when a place result is present.

deduplicate categories/qualifiers

order near searches by distance instead of importance

avoid duplicate lines during category search

fix polygon selection for classtable lookups

Polygons should be used preferably with higher address ranks
where the areas are smaller.

Merge pull request #3257 from lonvia/slow-queries

Performance tweaks for search

increase penalty for one-letter words

more preference for name-only queries in search

avoid index use when filtering by layer

add timestamps to text logging

avoid index on rank_address in near search

exclude country-level searches with non-address layers

Merge pull request #3252 from kumarUjjawal/patch-1

minor typo fix

minor typo fix

fixed a minor typo, from 'wit' to 'with'.

add report on newest vulnerability

improve code to collect the PostGIS version

The SQL contained an unchecked string literal, which may in theory be
used to attack the database.

Merge pull request #3248 from lonvia/fix-postcode-area-computation

PHP frontent: fix postcode area computation for address points

adapt typing to newest version of SQLAlchemy

php frontend: fix on-the-fly lookup of postcode areas

remove now unnecessary type igonre comment

fix assertion on address list, it may be empty

Fixes #3237.

Merge pull request #3235 from lonvia/fix-python-deploy

Python frontend deployment: add systemd service for the socket

python deployment: add systemd service for the socket

Merge pull request #3234 from lonvia/reduce-admin-style

Streamline admin style

Merge pull request #3233 from lonvia/support-for-sqlite

Add support for SQLite DBs in frontend: reverse

further reduce admin style import to admin-only objects

restrict geometry size for SQLite

convert sqlite: add index on parent_place_id

remove type info from SQLALchemy condition functions

A boolean type makes the SQLite dialect produce a costruct like
'func() = 1' in WHERE condition. While syntactically correct, it tends
to confuse the query planer.

make code work with Spatialite 4.3

Transfer is_address_point into SQLAlchemy function, so that
json.has_key() can use the older json_extract() function.
And work around broken Distance function.

enable BDD tests for sqlite databases

The database must currently be created by hand and the name handed
in via -DAPI_TEST_DB='sqlite:...'.

trim all coordinate output to 7 digits

add indexing support for DWithin and intersects for sqlite

make reverse API work with sqlite