lift restrictions on search with frequent terms slightly

Merge remote-tracking branch 'upstream/master'

Merge pull request #3520 from lonvia/restrict-interpolation-range

Restrict interpolation housenumbers to 0-999999

Merge pull request #3521 from lonvia/make-requests-optional

Fix error around missing requests library

restrict interpolation housenumbers to 0-999999

Ensures that the numbers fit into integers.

import requests library later than osmium

requests will usually be pulled in by osmium and is therefore not
a direct dependency of nominatim. Make sure it is only used, when
osmium is present.

Merge pull request #3519 from lonvia/api-error-handling

Improve error handling around CLI api commands

translate UsageError in CLI API commands

UsageErrors are handled specially and don't show backtraces
unless explicitly requested. We want the same behaviour for
errors coming from the API functions.

use NominatimAPI in with context in CLI tool

make NominatimAPI[Async] a context manager

If close() isn't properly called, it can lead to odd error messages
about uncaught exceptions.

Merge pull request #3517 from lonvia/improve-custom-formatter

Extend use of custom result formatters to CLI tool

improve error message on missing modules from nominatim_api

improve docs on custom result formatters

Adds section on formatting errors and using CLI. Improves wording
in others.

CLI: more useful error messages on JSON formatting errors

use custom result formatters in CLI commands

add missing includes in result fomatting example

Merge pull request #3516 from lonvia/fixed-country-order

Ensure consistent country assignments

ensure consistent country assignments

When OSM data has areas with overlapping countries, use the country
assignments from the pre-defined country grid for tie-breaking.
If that fails, fall back to the country with the smaller partition
number.

Merge pull request #3515 from lonvia/custom-result-formatting

Add the capability to define custom formatting functions for API output

add documentation for custom formatters

configurable error formatting and content type in result formatter

make API formatter loadable from project directory

make formatting module non-static

move ASGIAdoptor out of v1 module

remove v1-specific functions from ASGIAdaptor

Merge pull request #3514 from lonvia/remove-pythonpath

Vagrant install: remove custom python path

vagrant install: remove custom python path

Merge pull request #3510 from lonvia/indexing-precompute-count

Indexing: precompute counts of affected rows

indexing: precompute row counts

Doing this once for the whole batch of ranks saves about
half a second for small imports. Speeds up BDD tests.

Merge pull request #3509 from lonvia/deprecations

Add deprecation warnings and check for osm2pgsql version

add deprecation warnings in the code

fail if osm2pgsql is not recent enough

osm2pgsq: do not use deprecated tablespace options

add deprecation warnings throughout docs

Merge pull request #3506 from mtmail/development-environment-more-dependencies

Development environment: add missing dependencies

Development environment: add missing dependencies

Merge pull request #3502 from mtmail/check-database-check-another-index

check-database: check for another required db index

also force nominatim in build dir to venv python

force nominatim to be run with venv python

Merge remote-tracking branch 'upstream/master'

Merge pull request #3503 from lonvia/mkdocs-without-cmake

Build documentation without CMake

fix dangling links in documentation

move generated docs to site-html

build man page without CMake

remove CMake-based build of docs

build vagrant instructions dynamically with mkdocs-gen-files

check-database: check for another required db index

Merge pull request #3499 from mtmail/add-data-warn-if-frozen

Add data warn if frozen

switch instruction to use wikimedia CSV file

add-data: warn and exit if database is frozen

Merge pull request #3493 from lonvia/clean-up-bdd-tests

Various cleanups of BDD tests

adapt BDD tests for legacy tokenizer + Python frontend

Mostly disables the tests, the cases are not worth fixing anymore.
Others just avoid using terms that trigger abbreviations.

fix postcode lookup with legacy tokenizer

make housenumber search work with non-indexed partials

disable ZIP5+ test for Python frontend

Currently not working.

add forgotten BDD test

switch CI to new handling of legacy BDD tests

remove support for PHP code coverage in BDD tests

bdd tests: get rid of dependency on build path

BDD tests will now use whatever osm2pgsql they find in the PATH.
For testing against legacy tokenizer, use -DSERVER_MODULE_PATH
to point to the module. This will no longer work out of the box.

Merge pull request #3492 from lonvia/drop-waste-disposal

Remove waste disposals and hunting stands from index

Merge pull request #3490 from mtmail/which-url-after-webserver-install

After install point user to '/status' not '/' path

After install point user to /status not / path

drop amenity=waste_prposal and amenity=hunting_stand

Merge pull request #3491 from mtmail/faq-unicode-encoding

Admin FAQ entry for UnicodeEncodeError

Admin FAQ entry for UnicodeEncodeError

Merge pull request #3466 from mtmail/apple-silicon-parallels

Vagrant: add config for Apple Silicon

Merge pull request #3487 from lonvia/port-to-psycopg3

Move importer code to psycopg3

Ubuntu 22 doesn't have psycopg yet

fix dependencies and adapt documentation for psycopg3

port code to psycopg3

make DB helper functions free functions

Also changes the drop function so that it can drop multiple tables
at once.

remove extension existence helper

This is only used in one place.

Merge pull request #3480 from mtmail/import-style-adits

full,extra import style: add adits

full,extra import style: add adits

fix docs link in update interval error message (#3479)

Merge pull request #3468 from mtmail/setup-python-v5

Github Actions: now use setup-python v4->v5

Merge pull request #3467 from mtmail/docs-datrie

Documentation: typo in python package name

Github Actions: now use setup-python v4->v5

Documentation: typo in python package name

Vagrant: add config for Apple Silicon

Merge pull request #3463 from lonvia/sqlalchemy14-with-psycopg

Make sure SQLAlchemy can handle the loaded dialect

make sure SQLAlchemy can handle the loaded dialect

The psycopg dialect was only added in SQLAlchemy 2.0. To avoid loading
errors when SQLAlchemy 1.4 is installed together with psycopg3,
check that the dialect is really available.

fix some typos

Merge pull request #3458 from lonvia/python-package

Add support for installation via pip

add mtm as maintainer for the Python packages

improve wording

as per review

enable CI tests for Ubuntu 24

reduce from 3 to 2 packages

update documentation for new directory layout

installation for Ubuntu 24.04 with packages

Also remove Ubuntu 20.04 instructions.

switch to symlink approach for packages

Needed to make building work from sdist and source directory.

adapt packaging readmes

update licenses and discussion links

export UsageError and Configuration in api directly

Library users should not have to deal with the core package directly.

update CI commands for linting

adapt cmake to new directory structure

make use of nominatim-api in db package optional

adapt bdd tests to new layout

fix merge issues

fix linting issues