Merge pull request #2691 from mtmail/ubuntu-22

Vagrant and CI tests for Ubuntu 22.04

In tests for PHP 8 disable Just-in-time, it conflicts with tools that determine coverage

Vagrant and CI tests for Ubuntu 22.04

decode_json() always create arrays instead of objects

Merge pull request #2760 from lonvia/reorganize-data-classes

Code cleanup: move some common code into the data submodule

remove analyze() from PlaceInfo class

The function creates circular dependencies.

move country_info into data submodule

move PlaceInfo into data submodule

This data structure is shared between indexer and tokenizer.

test: avoid column names with upper-case letters

This may cause problems when the column names get quoted.

CI: remove unneed stuff to make space for DB

Merge pull request #2706 from mtmail/php-fixes-php7-vs-php8

PHP 8 behaves slightly different with in_array and usort

PHP 8 behaves slightly different with in_array and usort

fix syntax error with tablespaces

docs: replace deprecated pages option

Fixes #2661.

fix handling of zero importance

To avoid importance becoming zero and cancelling out other weights,
df008d99f549d850d07580b4592435388e44387c introduced a minimum value
for importance. That broke importances for interpolated addresses,
which are less than zero.

Instead of setting a minimum, set zero importances to a very small
value.

Fixes #2753.

Merge pull request #2757 from lonvia/filter-postcodes

Add filtering, normalisation and variants for postcodes

ignore 5+ postcodes in the US for now

Hierarchical postcodes need a different treatment.

bdd: correctly skip postcode tests for legacy

bdd: do not expect legacy word table to be without empty tokens

It can happen for bogus names and this will not get fixed anymore.

adapt search algorithm to new postcode format in word

handle postcodes properly on word table updates

update_postcodes_from_db() needs to do the full postcode treatment
in order to derive the correct word table entries.

add documentation for postcode customization

fix linting issue

fix up BDD tests for postcode changes

Includes smaller code fixes found by the tests.

port legacy tokenizer to new postcode handling

Also documents the changes to the SQL functions of the tokenizer.

fix postcode pattern for Mozambique

Optional groups are not implemented yet.

add tests for discarding bad postcodes

fix liniting problems

cache postcode normalization

only add well-formatted postcodes to location table

move postcode matcher in a separate file

move postcode centroid computation to Python

add class for online centroid computation

icu: switch postcodes to using the pre-formatted one

introduce and use analyzer for postcodes

postcodes: introduce a default pattern for countries without postcodes

postcode: generate a generic form

add postcodes for most of the remaining countries

Now includes all postcodes that have optional parts.

postcodes: add support for optional spaces

add postcode formats with optional country code

If the country code is not part of the mandatory output, the
country code filter will do the correct handling.

postcodes: strip leading country codes

add postcodes patterns without optional spaces

initial postcode cleaner for simple patterns

Moves postcodes that are either in countries without a postcode
system or don't correspond to the local pattern for postcodes into
a field for a normal address part. Makes them searchable but not as
a special address. This has two consequences: they are no longer a
skippable part of the address and the postcodes cannot be searched
on their own.

add postcode patterns for numeric postcodes

Adds patterns for countries that have simple numeric-only postcodes.

remove postcodes from countries that don't have them

The postcodes will only be removed as a 'computed postcode' they
are still searchable for the given object.

add info about countries without a postcode

avoid near searches in very large areas

At some point the contains call becomes too expensive.

Merge pull request #2755 from Luflosi/fix-typo

Fix typo

Fix typo

Merge pull request #2751 from mtmail/issue-2750

Documentation fix: should be "nominatim refresh"

Documentation fix: should be "nominatim refresh"

Merge pull request #2746 from bgo-eiu/patch-2

Added additional languages for Pakistan in country settings

Merge pull request #2749 from stefkiourk/patch-1

Typos and syntax on Reverse.md

Typos and syntax on Reverse.md

Merge pull request #2748 from lonvia/bdd-grid-origin

BDD tests: remove support for scenes

bdd: remove support for scenes

Only keep support for the special point geometry 'country:xx'.

bdd: move query tests from scene to grid description

bdd: remove step for scene setup

bdd: move update tests from scenes to grid descriptions

bdd: move import tests from scenes to grid descriptions

bdd: clear lof buffer after a successful import run

bdd: allow to set an origin of the grid

Merge pull request #2745 from lonvia/city-in-city-fix

Improve hierarchy computation for place areas

added additional languages for pakistan in country settings

use default ranks when reorganising rank_address

When shifting address ranks, the evaluation is always done against
unshifted address ranks on import because the objects we compare against
have not been indexed yet. This changes for updates when the object have
been touched in the meantime. To ensure consistent behaviour across
imports and updates, always use the  unshifted address ranks.

improve address ordering with mixes of place and admin areas

Resolves a couple of situations where a mixed use of places areas and
administrative boundaries would result in a hierarchy that did not
properly respect the contains relation.

Merge pull request #2737 from lonvia/reset-linking-ranks

Fix rank inheritance from linked places

add testcase for #2551

This test proves that places that are linked need to be reindexed.

fix rank inheritance from linked places

When taking over the address rank from a linked place, it needs
to be the originally computed rank, not the one that might have
been adjusted in the meantime. The adjustment was made under the
assumption that the node is not linked.

Merge pull request #2736 from lonvia/reverse-interpolation-index-order

Change indexing order for interpolations and non-addressable objects

change indexing order for interpolations

Interpolations are now indexed after rank 30 objects. The housenumber
nodes no longer need information from the interpolations while the
interpolations can make use of precomputed postcodes.

Merge pull request #2735 from lonvia/geocodejson-type-reverse

Also fix type output in geocodejson for reverse

use getattr() instead of __getattr__

Makes the linter happy.

also fix type output in geocodejson for reverse

Merge pull request #2732 from lonvia/fix-ordering-address-parts

Fix order when searching for addr:* components

Merge pull request #2731 from lonvia/cleanup-special-phrases

Minor code reorganisation around special phrase parsing

Merge pull request #2730 from lonvia/exclude-inclusion-tag

Exclude addr:inclusion from search

fix order when searching for addr:* components

When matching addr:* components the preference was given to
matches that do not intersect with the place.

exclude addr:inclusion from search

CI: always use the latest version of pylint

This makes it easier to reproduce issues locally.

custom comparison for SpecialPhrase

Duplicate elemination only works when a custom hash/equal function
is implemented that is based on the members.

move quoting hack to wiki loader

The bad quotes around the type for special phrases
specifically occure in the Wiki pages, so it should be
removed by the loader and not in the generic SpecialPhrase
object.

convert special phrase loaders to generators

Generators simplify the code quite a bit compared to the previous
Iterator approach.

remove the language parameter in the SPWikiLoader

Languages must always be configured through config or environment.
Also use monkeypatched environment in tests.

add get_str_list() for config

Converts a config value written as a comma-sparated list into
a Python list of strings.

Merge pull request #2728 from lonvia/allow-more-partials

Allow search for partials consisting of 3 or more words

allow search for partials consisting of 3 or more words

The search query builder currently rejects searches for partial
names only, when the partial terms are all very frequent to avoid
queries that return too many results.

This change slightly relaxes the condition to allow the search when
there are 3 or more partial terms. With so many terms the number
of matches should be managable.

Merge pull request #2715 from otbutz/patch-2

Simplify apache rewrite rules

Change to regular regex group

Merge pull request #2718 from nslxndr/fix-log-endtime

Undefined offset in error log

Merge pull request #2722 from lonvia/fix-relinking-on-updates

Fix bug with keeping linking on updates

fix bug with keeping linking on updates

When moving the finding of linked places to the precomputation stage,
it was also moved before the statement where the linked_place_id was
removed from the linkee. The result was that the current linkee was
excluded when looking for a linked place on updates because it was
still linked to the boundary to be updated.

Fixed by allowing to either keep the linkage or change to an unlinked
place.

correct end time computation

Simplify apache rewrite rules

Merge pull request #2713 from lonvia/remove-county-nodes-in-canada

Remove county nodes in Canada from addresses

remove county nodes in Canada from addresses

Canada has complete coverage for administrative boundaries on
county level. Removing the county nodes from the addresses avoids error
due to a wide-spread doubling of place nodes for city counties.

Merge pull request #2710 from lonvia/offline-import-mode

Assorted performance improvements for BDD tests

bdd: restrict imports to four languages

This mainly restricts the number of country names that are loaded.

Merge pull request #2709 from lonvia/less-strict-country-assignment

Be more strict with country assignments

bdd: recreate functions on template DB

Avoids calling function refresh on every scenario. The content won't
change between runs.