use address counts for improving index lookup

add penalty for single words that look like stop words

add address counts to tokens

extend word statistics to address index

Word frequency in names is not sufficient to interpolate word
frequency in the address because names of towns, states etc. are
much more frequently used than, say street names.

add geometry details for postcode area output

Merge pull request #3362 from lonvia/find-postcode-areas

Lookup postcode areas for postcode results

remove BDD test for place_id details

It is not reliable.

exclude postcode test from legacy and php

postcodes: exclude seen places later

The seen list will only have the postcode area when available but
we want the postcode point excluded as well if the area has been seen.

look for postcode areas when finding something in the postcode table

prepare release 4.4.0

Merge pull request #3358 from lonvia/pg-module-for-pg16

Fix compilation of legacy module for PostgreSQL 16

actions: run legacy test against newest postgresql 16

fix compilation of PG module for PostgreSQL 16

This version requires an additional include for the macros used.

Merge pull request #3356 from lonvia/use-date-from-osm2pgsql-prop

Use import date from osm2pgsql property table if available

use import date from osm2pgsql property table if available

Merge pull request #3353 from mtmail/add-codespell

Github Actions: add codespell linter, warn only

Github Actions: add codespell linter, warn only

Merge pull request #3350 from lonvia/improve-postcode-handling

Improve handling of postcode areas

Merge pull request #3349 from lonvia/remove-way-geometry-table-after-import

Drop lower-rank-ways index after import

improve display name for postcodes

Don't add the postcode again in the list of address details and
make sure that the result proper always comes before anything else
independently of the address rank.

for postcodes use rank_search as base rank for finding addresses

The rank_address reflects the position in the address which is
usually lower than what one would expect for a postcode area.

drop lower-rank-ways index after import

The index becomes quite big and is only needed during import
because the full geometry import does not exist yet.

Merge pull request #3342 from mtmail/tyops

Correct some typos

Merge pull request #3347 from lonvia/tweak-boundary-imports

Assorted style tweaks

Merge pull request #3346 from lonvia/reduce-artificial-importance

Reduce default importance

Merge pull request #3345 from lonvia/simplify-large-geometries

Simplify very large polygons that are not used in addresses

Merge pull request #3344 from lonvia/osm2pgsql-new-middle

Update osm2pgsql to latest 1.11.0 and add support for new middle format

add support for new middle table format of osm2pgsql

Functions are adapted according to the format detected from the
osm2pgsql property table.

simplify very large polygons non used in addresses

Polygons with rank_address = 0 are only used in search and (rarely)
for reverse lookup. Geometries do not need to be precise for that
because topology does not matter. OSM has some very large polygons
of natural features with sizes of more than 10MB. Simplify these
polygons to keep the database and indexes smaller.

reduce importance when computed from search rank

do not send outdated parameters to osm2pgsql flex

update osm2pgsql to 1.11.0

drop more railway tags

drop amenity=parking_space/entrance objects

Parking is sufficiently covered with amenity=parking.

drop boundary=land_area

Usually a version of administrative boundaries without ocean area.
Resulting polygons are pretty larrge and having the boundaries
should be enough.

import leisure=natural_reserve as fallback only

About half of the natural reserves have a double tagging with
boundary=protected_area. Avoid importing these objects twice.

prefer min() function over if construct

Fixes a linter complaint.

Correct some typos

Merge pull request #3341 from mtmail/remove-php-faq-entries

PHP related FAQ entries are no longer needed

PHP related FAQ entries are no longer needed

Merge pull request #3340 from lonvia/fix-lua-liniting-issues

Fix some issues in the style files found by luacheck

fix issues found by luacheck

The variable shadowing causes bad results when used with LuaJIT.

Merge pull request #3339 from lonvia/python-frontend-as-default

Switch to Python frontend as the default

switch Ubuntu installation scripts to Python frontend

API debug: properly escape non-highlighted code

bdd: be more verbose on HTML parsing error

also switch unit tests for cli

actions: make php the legacy tests

update documentation to recommend Python frontend

make Python frontend default and PHP optional

Merge pull request #3338 from lonvia/remove-nested-cli-groups

Add documentation for importing without superuser rights

actions: switch no-superuser test to PostgreSQL 16

The new premission restrictions on the public schema took only
place in PG15, so the previsouly used PG14 does not show any issues.

add documentation for non-superuser import

remove unnecessary nested group in CLI import command

Merge pull request #3333 from lonvia/set-empty-extratags-to-null

Extratags should become null when empty

extratags should become null when empty

Removing the artifical entries in the extratags may lead to
an empty hstore. Set it to null in that case.

Fixes #3055.

Merge pull request #3332 from lonvia/improve-cutting-of-result-list

Prefilter bad results before adding details and reranking

prefilter bad results before adding details and reranking

Move the first cutting of the result list before reranking
by result match. This means that results with significantly
less importance are removed early and independently of the
fact how well they match the original query.

Fixes #3266.

Merge pull request #3331 from lonvia/fix-word-table-rights

Properly grant rights to read-only user when switching out word table

properly grant rights to read-only user when switching out word table

docs: mark layer parameter as python-only

Merge pull request #3328 from lonvia/word-count-into-new-table

Recreate word table when refreshing counts

recreate word table when refreshing counts

The counting touches a large part of the word table, leaving
bloated tables and indexes. Thus recreate the table instead and
swap it in.

avoid LookupAny with address and too many name tokens

The index for nameaddress_vector has grown so large that PostgreSQL
will resort to a sequential scan if there are too many items
in the LookupAny list.

print any collected debug output when returning a timeout error

Merge pull request #3321 from lonvia/remove-duplicate-partials

Improvements to query parsing

housenumber-only searches cannot be combined with qualifiers

adjust rankings for housenumber-only searches

A normal address search with housenumber will use name rankings for
the street name. This is slightly different than weighing for
address parts. Use the same ranking for the first part of the
address for housenumber-only searches to make sure that penalties
remain comparable.

always add a penalty for name + address search fallback

If there already was a search by full names, the search is likely
a repeatition that yields the same results, only running slower.

disallow category tokens in the middle of a query string

This already worked for left-to-right readings and now is also
implemented for right-to-left reading. A qualifier must always be
before or after the name.

protect against very frequent bad partials

avoid duplicates in the list of partial tokens for a query

This messes with the estimates for expected results.

Merge pull request #3320 from lonvia/fix-timeout-return-code

Fix returned HTTP error when query runs too long

catch special async timeout error in servers

In Python <= 3.10 this is not yet the same as TimeoutError.

Fixes #3303.

Merge pull request #3317 from lonvia/postcodes-for-highway-areas

Search postcodes for highway areas around the area

search postcodes for highway areas around the area

So far the code would only accept postcodes that are inside the area.

Fixes #3304.

Merge pull request #3301 from lonvia/fix-class-search-regression

Interpret stand-alone special terms always as near term

interpret stand-alone special terms always as near term

Fixes #3298.

Merge pull request #3293 from lonvia/rematch-against-country-code

Add country code to words to be rematched

add country code to words to be rematched

Merge pull request #3292 from lonvia/faster-country-search

Speed up country search

when a country is in the results, restrict further searches to places

A country search result usually comes with a very high importance.
As a result only other very well known places will show up together
with country results and that means only places with lower address
ranks. Name searches for country names tend to yield a lot of POI
results because the country name is part of the name
(think "embassy of Sweden"). By excluding POIs from further searches,
the search is sped up quite a bit.

dump params in log view

prioritize country searches when penaly is equal

Merge pull request #3238 from mtmail/check-database-for-version-match

admin --check-database also checks database vs nominatim version

Merge pull request #3289 from lonvia/viewbox-and-housenumbers

Do not restrict by viewbox when housenumber or postcode is available

Merge pull request #3290 from lonvia/near-vs-quaifier-words

Do not run near queries on qualifier words

Merge pull request #3291 from lonvia/fix-timezone-handling

Fix timezone handling for timestamps from the database

fix timezone handling for timestamps from the database

SQLite is not timezone-aware, so make sure to convert to UTC
before inserting any data.

do not run near queries on qualifier words

There is too much potential for confusion (e.g. 'Rio Grande' read
as 'river near Grande') fir too little gain. Use near phrases
instead.

do not restrict by viewbox when housenumber or postcode is available

Fixes #3274.

check-database also checks database vs nominatim version

Merge pull request #3286 from lonvia/avoid-bind-parameters-in-lambdas

Avoid closure variables in lambda statements

avoid closure variables in lambda statements

There is a bug in SQLAlchemy that assigns the wrong value to bind
parameters from closure variables when reusing lambda statements
that are later extended with other non-lambda expressions.

Thus either avoid lambda statements with closure variables or extending
them with non-lambda expressions.

use correct SQLAlchemy pool for asynchronous connections

See https://github.com/sqlalchemy/sqlalchemy/issues/8771

API: avoid engine disposal on startup

update typing for latest changes in SQLAlchemy

Merge pull request #3273 from lonvia/search-with-sqlite

Add forward search capability for SQLite databases

add minimal documentation for the SQLite usage