simplify use of secondary importance

The values in the raster are already normalized between 0 and 2**16,
so a simple conversion to [0, 1] will do.

Check for existance of secondary_importance table statically when
creating the SQL function. For that to work importance tables need
to be created before the functions.

load views as a SQL file and rename to 'secondary importance'

The only requirement for secondary importance is that a raster table
comes out of it. The generic name leaves open where the data comes
from.

Integrated OSM views into importance computation

Enhanced the implementation of OSM views GeoTIFF import functionality

Initial implementation of GeoTIFF import functionality

Merge pull request #2832 from lonvia/conditional-analyze-on-indexing

Only run analyze on indexing when work was done

only run analyze on indexing when work was done

This speeds up processing when continuing indexing after it was
interrupted.

Merge pull request #2829 from lonvia/optimize-indexes

Further optimize indexes

make sure indexes are used

further split up the big geometry index

Adds partial indexes for all geometry queries used during import.
A full index is not necessary anymore at that point. Still create
the index afterwards for use in queries.

Also adds documentation for all indexes on where they are used.

consolidate indexes over geometry_sectors

The index over geometry_sectors are mainly used for ordering
the places which need indexing. That means they function effectively
as a TODO list. Consolodate them so that they always only contain
the places which are still to do. Also add the appropriate index
for the boundary indexing phase.

split up large osmid index on placex

This doesn't do anything in terms of lookup speeds but the resulting
indexes are quite a bit smaller.

fix funding link

add Github Sponsering to funding page

run final index creation in parallel

add function for parallel execution of SQL scripts

add link to funding page

Merge pull request #2818 from lonvia/better-geometry-index

Add index for lookup of addressable areas

add indexes for lookup of addressable areas

The generic geometry index has become to slow for that purpose.

update security policy for 4.1 version

mypy: fix new warnings due to external type updates

Merge pull request #2812 from mausch/patch-1

docs: fix links to rank docs

docs: fix links to rank docs

Merge pull request #2799 from lonvia/fix-inclusions-with-extratags

Ignore irrelevant extra tags on address interpolations

Merge pull request #2739 from tareqpi/collect_os_info.sh

integration of host system information script into Nominatim CLI tool

ignore irrelevant extra tags on address interpolations

When deciding if an address interpolation has address information, only
look for addr:street and addr:place. If they are not there go looking
for the address on the address nodes. Ignores irrelevant tags like
addr:inclusion.

Fixes #2797.

Added the feature of collecting host system information to the CI tests

Integrated 'collect_os_info.py' into Nominatim's CLI tool

Enhanced and refactored 'collect_os_info.py'

Changed the script to functional programming paradigm to remove the big number of local attributes to decrease memory usage when running it. Additional OS info are now included.

Merge remote-tracking branch 'upstream/master' into collect_os_info.sh

Merge pull request #2798 from lonvia/more-rank-change-fixes

Invalidations when boundaries and places change their rank

more invalidations when boundary changes rank

When a boundary or place changes its address rank, all places where
it participates as address need to be potentially reindexed.
Also use the computed rank when testing place nodes against
boundaries. Boundaries are computed earlier.

Fixes #2794.

Merge pull request #2793 from lonvia/increase-minimum-results

Fix minimum number of results that are searched for

fix base number of returned results

The intent was to always search for at least 10 results.

Improves on #882.

Merge pull request #2792 from lonvia/new-type-annotations

Adapt to new type annotations from typeshed

adapt to new type annotations from typeshed

Some more functions frrom psycopg are now properly annotated.
No ignoring necessary anymore.

docs: add types-psutil requirement

remove mypy ignore for psutil.virtual_memory()

Now available in typeshed.

Merge pull request #2789 from lonvia/update-osm2pgsql

Update osm2pgsql (fixes admin_level parsing)

update osm2pgsql (fix admin_level parsing)

docs: fix dangling links

docs: update links to vagrant instructions

prepare release 4.1.0

Merge pull request #2786 from lonvia/export-centroid-for-tokenizer

Export centroid to tokenizer

export centroid to tokenizer

May come in handy when developping sanitizers for an area smaller
than country size.

Merge pull request #2784 from lonvia/doscs-customizing-icu-tokenizer

Document the public API of sanitizers and token analysis modules

fix various typos

add simple examples of sanitizers and token analysis

overhaul the token analysis interface

The functional split betweenthe two functions is now that the
first one creates the ID that is used in the word table and
the second one creates the variants. There no longer is a
requirement that the ID is the normalized version. We might
later reintroduce the requirement that a normalized version be available
but it doesn't necessarily need to be through the ID.

The function that creates the ID now gets the full PlaceName. That way
it might take into account attributes that were set by the sanitizers.

Finally rename both functions to something more sane.

move PlaceName into the generic data module

harmonize spelling

Stick with the American spelling of Analyze.

harmonize interface of token analysis module

The configure() function now receives a Transliterator object instead
of the ICU rules. This harmonizes the parameters with the create
function.

add documentation for custom token analysis

add documentation for sanitizer interface

Also switches mkdocstrings to 0.18 with the rather unfortunate
consequence that now mkdocstrings-python-legacy is needed as well.

Merge pull request #2780 from lonvia/python-modules-in-project-directory

Support for external sanitizer and token analysis modules

add support for external token analysis modules

add support for external sanitizer modules

add function for loading plugin modules

Loads modules for configurable code like tokenizers, sanitizers, etc.
Supports internal modules, external libraries and code from the
project directory.

Merge pull request #2775 from lonvia/remove-centos-instructions

Remove vagrant scripts for CentOS

vagrant: remove proj dependency and only require php-cli

remove CentOS installation instructions

Fixes #2601.

Merge pull request #2774 from lonvia/parameter-arrays

Ignore URL parameters in array notation

ignore API parameters in array notation

PHP automatically parses parameters in an array notation(foo[]) into
array types. Ignore these parameters as 'unknown'.

Fixes #2763.

Merge pull request #2772 from kianmeng/fix-typos

docs: fix typos

docs: fix typos

docs: slightly increase recommended hardware requirements

Merge pull request #2770 from lonvia/typed-python

Type annotations for Python code

CI: remove installation of pip on Ubuntu 20

add explicit cast for fetchone

CIL use psutil type stubs

remove typing_extensions requirement

The typing_extensions package is only necessary now when running mypy.
It won't be used at runtime anymore.

CI: make type checking strict

add type annotations for command line functions

add type annotations for Tiger import function

add type annotations to special phrase importer

add type annotations to database check functions

add type annotations for database import functions

add type annotations for migrations

add type annotations to tool functions

add type annotations for ICU tokenizer

add type annotations for legacy tokenizer

add type annotations to ICU tokenizer helper modules

add typing extensions for Ubuntu22.04

add type annotations for token analysis

No annotations for ICU types yet.

add type hints for sanitizers

add type annotations for indexer

add typing information for postcode formatter

add typing information for place_info and country_info

add typing information for utils submodule

type annotations for non-blocking DB connection

add type annotations for SQL preprocessor

add type annotation to DB utils

As a cursor is needed as type, make this a public type.

add typing information to DB properties

add typing annotations for DB status module

Requires TypedDict which is only available from Python 3.8. Require
therefore typing_extensions to make the functions available for
earlier Python versions.

adapt use of Connection in bdd tests to name change

add type annotations to freeze functions

fix uses of config.get_path() to expect None

define type for enivronment dictionaries

restrict return type more

add type annotations to exec_utils