Merge pull request #820 from mtmail/php-test-path-changed

Vagrant documentation: update path to php tests

Vagrant documentation: update path to php tests

Merge pull request #814 from lonvia/phrase-as-a-class

Make phrases a class and add early checking of token validity

adapt unit tests to new Phrase class

fix CodeSniffer offences

move word recheck into token collection

Drop tokens for special and postcode searches already when
collecting them for ValidTokens when they cannot be found
in the normalized query.

simplify cross-check of country tokens

Drop country tokens that do not match the country code list
early. Remove in turn the special country code check for
structured phrases. It is sufficient to do this during
word list building.

remove unused $aPossibleMainWordIDs array

add documentation for Phrase

take frequency scores from token description

No need to hand them in separately.

convert phrase array to class

take country names only from relations

Show address rank in details and hide unset admin_level

Address rank explains better why the address parts are where
they are.

Fixes #766.

Sort results for near searches by proximity

If a reference coordinate is given, results really should be
sorted by distance to this point ignoring importance completely.

Fixes #796.

Merge pull request #812 from lonvia/search-as-a-class

Refactoring Search arrays

documentation for SearchContext and SearchDescription

coding style and some documentation

move complete search query code into SearchDescription

adapt phpunit tests to new SearchContext class

move country list to SearchContext

move excluded place list to SearchContext

move viewbox sql to new SearchContext

replace NearPoint with a more generic context object

The NearPoint is actually common to all SearchDescriptions
and there is other context data as well. like viewbox, that
needs to be available to the search object but is common.

don't trust words from word table to be sanatized

add missing include

fix CodeSniffer violations

fix more syntax issues

move Search dump function into SearchDescription class

fix syntax errors from introduction of  SearchDescription

convert getGroupedSearches to SearchDescription class

add function to convert array to SQL

use SearchDescription class in query loop

move initial search setup to new class type

add new class for searches

drop searches with excluded country codes earlier

remove code for dropping address terms

This code has been inactive in quite a while and is a suboptimal
solution. We need to be much more selective in what gets dropped.

fix variable names

further restrict use of partial terms in names

housenumbers may only appear before or after the name

penalize search order where a country comes first

allow postcodes and housenumbers together

Fixes #805.

sanitize special search term before normalizing

fix postcode search

Name token must be fully replaced with the postcode and
postcode search must be done only once.

only allow either postcode or special search

Fixes #804.

use correct source for radius column in debug view

tests: more coverage for all API endpoints

Merge pull request #803 from lonvia/update-postcodes

Add script to update table with artifical postcode centroids

add script for updating postcodes

move psqlRunScript implementation into cmd lib

Function needed for update.php as well.

test: remove road-fallback test from db tests

This should be tested in the api section.

fix search for postcode via structured query

Results from the artifical postcode table were dropped
when reevaluating rank of results.

more coverage tests for Geocode.php

remove unnecessary size check

be more strict with searches involving house numbers

Housenumber searches without a name cannot exist per
definition. Searches with only a name but no address
should not fall back on a search without house number.
This should improve postcode only search.

avoid unnecessary SQL when rechecking rank restrictions

fix viewbox related test

Coordinates are no longer specially ordered.

docs: clarify how to run pip install

Fixes #792.

order of viewbox coordinates does not matter

Merge pull request #802 from mtmail/coordinate-extract-missing-first-minus-sign

NearPoint::extractFromQuery - greedy-match optional quote sign

skip output of lat/lon in debug when no near point given

fix index when rechecking postcode name

return unchanged term if normalizer was not found

NearPoint::extractFromQuery - greedy-match optional quote sign

more API tests (mostly for user errors)

enable coverage also for tests with HTTP errors

Merge pull request #798 from mtmail/coordinate-extract-missing-first-minus-sign

fix to NearPoint::extractFromQuery handling first minus sign

fix to NearPoint::extractFromQuery handling first minus sign

fix handling of near queries with special search

Make sure to use the classtype tables with near search and
allow to search for arbitrary key/values (forbidding it
for viewbox searches).

Add tests for near queries.

fix display of nearpoint in debug view

reinstate key-value amenity search

Reenable search by the secret special term [key=value]
matching against the given main tag. Note that for most
cases that works only for tags that also have a special
search table.

more API tests for code coverage

Also fixes two minor issues related to structured queries.

improve code coverage documentation

reduce message frequency during indexing

setup: bail out earl when something is wrong with nominatim.so

setup: error out when web site user does not exist

User is needed to be able to grant rights.

run psql in quiet mode unless 'verbose' is enabled

timestamp info message and repeat warnings at end

docs: add more requirements for running tests

Merge pull request #782 from lonvia/rework-postcodes

Rework handling of artificial postcode centroids

README: point to release instalation instructions

increase search rank of leisure=park

Fixes #786.

check that replication URL points to a repo of OSM diffs

Also check that pyosmium does not return None to work around
a bad return code in the current release of pyosmium-get-changes.

Fixes #784.

further restrict results for <postcode>, <term>

Disallow postcode operator together with housenumbers
and force results around a postcode when no address is
given.

tests: add new admin scene

fixup tests

enable details view for artificial postcodes

fix subqueries when getting details for postcodes

throw away searches with two postcodes

add simple tests for postcode import

adapt scene generation tool to newest libosmium

move adding postcodes to word table to calculation step

add migration path for postcodes

normalize all postcodes before use

simplify search for artificial postcodes

special handling for estimated postcode in areas

Don't add a postcode at all if multiple estimated
postcodes fall into the area.

fix more tests

fix API tests wrt postcodes

fix postcode-related tests

remove lat/lon check for search terms

Was only used with GB postcodes which were removed.

require postcodes to match exactly in normalised form