Merge pull request #2786 from lonvia/export-centroid-for-tokenizer

Export centroid to tokenizer

export centroid to tokenizer

May come in handy when developping sanitizers for an area smaller
than country size.

Merge pull request #2784 from lonvia/doscs-customizing-icu-tokenizer

Document the public API of sanitizers and token analysis modules

fix various typos

add simple examples of sanitizers and token analysis

overhaul the token analysis interface

The functional split betweenthe two functions is now that the
first one creates the ID that is used in the word table and
the second one creates the variants. There no longer is a
requirement that the ID is the normalized version. We might
later reintroduce the requirement that a normalized version be available
but it doesn't necessarily need to be through the ID.

The function that creates the ID now gets the full PlaceName. That way
it might take into account attributes that were set by the sanitizers.

Finally rename both functions to something more sane.

move PlaceName into the generic data module

harmonize spelling

Stick with the American spelling of Analyze.

harmonize interface of token analysis module

The configure() function now receives a Transliterator object instead
of the ICU rules. This harmonizes the parameters with the create
function.

add documentation for custom token analysis

add documentation for sanitizer interface

Also switches mkdocstrings to 0.18 with the rather unfortunate
consequence that now mkdocstrings-python-legacy is needed as well.

Merge pull request #2780 from lonvia/python-modules-in-project-directory

Support for external sanitizer and token analysis modules

add support for external token analysis modules

add support for external sanitizer modules

add function for loading plugin modules

Loads modules for configurable code like tokenizers, sanitizers, etc.
Supports internal modules, external libraries and code from the
project directory.

Merge pull request #2775 from lonvia/remove-centos-instructions

Remove vagrant scripts for CentOS

vagrant: remove proj dependency and only require php-cli

remove CentOS installation instructions

Fixes #2601.

Merge pull request #2774 from lonvia/parameter-arrays

Ignore URL parameters in array notation

ignore API parameters in array notation

PHP automatically parses parameters in an array notation(foo[]) into
array types. Ignore these parameters as 'unknown'.

Fixes #2763.

Merge pull request #2772 from kianmeng/fix-typos

docs: fix typos

docs: fix typos

docs: slightly increase recommended hardware requirements

Merge pull request #2770 from lonvia/typed-python

Type annotations for Python code

CI: remove installation of pip on Ubuntu 20

add explicit cast for fetchone

CIL use psutil type stubs

remove typing_extensions requirement

The typing_extensions package is only necessary now when running mypy.
It won't be used at runtime anymore.

CI: make type checking strict

add type annotations for command line functions

add type annotations for Tiger import function

add type annotations to special phrase importer

add type annotations to database check functions

add type annotations for database import functions

add type annotations for migrations

add type annotations to tool functions

add type annotations for ICU tokenizer

add type annotations for legacy tokenizer

add type annotations to ICU tokenizer helper modules

add typing extensions for Ubuntu22.04

add type annotations for token analysis

No annotations for ICU types yet.

add type hints for sanitizers

add type annotations for indexer

add typing information for postcode formatter

add typing information for place_info and country_info

add typing information for utils submodule

type annotations for non-blocking DB connection

add type annotations for SQL preprocessor

add type annotation to DB utils

As a cursor is needed as type, make this a public type.

add typing information to DB properties

add typing annotations for DB status module

Requires TypedDict which is only available from Python 3.8. Require
therefore typing_extensions to make the functions available for
earlier Python versions.

adapt use of Connection in bdd tests to name change

add type annotations to freeze functions

fix uses of config.get_path() to expect None

define type for enivronment dictionaries

restrict return type more

add type annotations to exec_utils

CI: install type info for psycopg2

avoid issues with Python < 3.9 and linting

move complex typing annotations to extra file

type annotations for DB utils

type annotations for DB connection

mypy: add psycopg2 typing info from typeshed

add type annotations to config module

add type annotations for version.py

mypy: ignore dotenv library

document use of mypy

CI: add mypy to tests

mypy: minimal annotations to enable a clean run

Merge pull request #2761 from lonvia/repair-index-analysis

Repair `admin --analyse-indexing`

Merge pull request #2764 from otbutz/patch-4

Remove legacy Postgres options

Remove legacy Postgres options

Merge pull request #2691 from mtmail/ubuntu-22

Vagrant and CI tests for Ubuntu 22.04

In tests for PHP 8 disable Just-in-time, it conflicts with tools that determine coverage

Vagrant and CI tests for Ubuntu 22.04

decode_json() always create arrays instead of objects

convert admin --analyse-indexing to new indexing method

A proper run of indexing requires the place information from the
analyzer. Add the pre-processing of place data, so the right
information is handed into the update function.

Merge pull request #2760 from lonvia/reorganize-data-classes

Code cleanup: move some common code into the data submodule

remove analyze() from PlaceInfo class

The function creates circular dependencies.

move country_info into data submodule

move PlaceInfo into data submodule

This data structure is shared between indexer and tokenizer.

test: avoid column names with upper-case letters

This may cause problems when the column names get quoted.

CI: remove unneed stuff to make space for DB

Merge pull request #2706 from mtmail/php-fixes-php7-vs-php8

PHP 8 behaves slightly different with in_array and usort

PHP 8 behaves slightly different with in_array and usort

fix syntax error with tablespaces

docs: replace deprecated pages option

Fixes #2661.

fix handling of zero importance

To avoid importance becoming zero and cancelling out other weights,
df008d99f549d850d07580b4592435388e44387c introduced a minimum value
for importance. That broke importances for interpolated addresses,
which are less than zero.

Instead of setting a minimum, set zero importances to a very small
value.

Fixes #2753.

Merge pull request #2757 from lonvia/filter-postcodes

Add filtering, normalisation and variants for postcodes

ignore 5+ postcodes in the US for now

Hierarchical postcodes need a different treatment.

bdd: correctly skip postcode tests for legacy

bdd: do not expect legacy word table to be without empty tokens

It can happen for bogus names and this will not get fixed anymore.

adapt search algorithm to new postcode format in word

handle postcodes properly on word table updates

update_postcodes_from_db() needs to do the full postcode treatment
in order to derive the correct word table entries.

add documentation for postcode customization

fix linting issue

fix up BDD tests for postcode changes

Includes smaller code fixes found by the tests.

port legacy tokenizer to new postcode handling

Also documents the changes to the SQL functions of the tokenizer.

fix postcode pattern for Mozambique

Optional groups are not implemented yet.

add tests for discarding bad postcodes