revert use of global penalty for a search direction

Adding a penalty to a search description because there
is a term at the beginning which looks like a country
turned out to be a bad idea as there are too many
abbreviations around that match against frequently
matched words.

tiger import: convert counties to str

For python2 the gdal features come out as str and
cannot be combined with unicode strings.

huge cleanup of tigerAddressImport.py

huge cleanup of tigerAddressImport.py

Merge pull request #829 from lonvia/result-as-a-class

Use PlaceLookup in search for retriving place details

use PlaceLookup::loadParamArray in search and lookup

add loadParamArray function to PlaceLookup and use for reverse

use PlaceLookup in search

make PlaceLookup::lookup() accept multiple results

replace SQL code in PlaceLookup with content of search's get_details

use Result class in reverse geocoding

Also simplifies the reverse algorithm slightly by no longer
having an additional distance lookup.

introduce Result class in Geocode and SearchDescription

Merge pull request #822 from mtmail/ui-allow-copypaste-combined-latlon

Ui allow copypaste combined latlon

Merge pull request #819 from mtmail/tiger-2017-import

Tiger 2017 data no longer contains -divroad- field

UI: allow copy&pasting lat,lon into the lat search field

UI: allow copy&pasting lat,lon into the lat search field

Merge pull request #821 from mtmail/ui-scrollwheel-minimap

UI: scrollwheel, minimap

UI: scrollwheel, minimap

Merge pull request #820 from mtmail/php-test-path-changed

Vagrant documentation: update path to php tests

Vagrant documentation: update path to php tests

Tiger 2017 data no longer contains -divroad- field

Merge pull request #814 from lonvia/phrase-as-a-class

Make phrases a class and add early checking of token validity

adapt unit tests to new Phrase class

fix CodeSniffer offences

move word recheck into token collection

Drop tokens for special and postcode searches already when
collecting them for ValidTokens when they cannot be found
in the normalized query.

simplify cross-check of country tokens

Drop country tokens that do not match the country code list
early. Remove in turn the special country code check for
structured phrases. It is sufficient to do this during
word list building.

remove unused $aPossibleMainWordIDs array

add documentation for Phrase

take frequency scores from token description

No need to hand them in separately.

convert phrase array to class

take country names only from relations

Show address rank in details and hide unset admin_level

Address rank explains better why the address parts are where
they are.

Fixes #766.

Sort results for near searches by proximity

If a reference coordinate is given, results really should be
sorted by distance to this point ignoring importance completely.

Fixes #796.

Merge pull request #812 from lonvia/search-as-a-class

Refactoring Search arrays

documentation for SearchContext and SearchDescription

coding style and some documentation

move complete search query code into SearchDescription

adapt phpunit tests to new SearchContext class

move country list to SearchContext

move excluded place list to SearchContext

move viewbox sql to new SearchContext

replace NearPoint with a more generic context object

The NearPoint is actually common to all SearchDescriptions
and there is other context data as well. like viewbox, that
needs to be available to the search object but is common.

don't trust words from word table to be sanatized

add missing include

fix CodeSniffer violations

fix more syntax issues

move Search dump function into SearchDescription class

fix syntax errors from introduction of  SearchDescription

convert getGroupedSearches to SearchDescription class

add function to convert array to SQL

use SearchDescription class in query loop

move initial search setup to new class type

add new class for searches

drop searches with excluded country codes earlier

remove code for dropping address terms

This code has been inactive in quite a while and is a suboptimal
solution. We need to be much more selective in what gets dropped.

fix variable names

further restrict use of partial terms in names

housenumbers may only appear before or after the name

penalize search order where a country comes first

allow postcodes and housenumbers together

Fixes #805.

sanitize special search term before normalizing

fix postcode search

Name token must be fully replaced with the postcode and
postcode search must be done only once.

only allow either postcode or special search

Fixes #804.

use correct source for radius column in debug view

tests: more coverage for all API endpoints

Merge pull request #803 from lonvia/update-postcodes

Add script to update table with artifical postcode centroids

add script for updating postcodes

move psqlRunScript implementation into cmd lib

Function needed for update.php as well.

test: remove road-fallback test from db tests

This should be tested in the api section.

fix search for postcode via structured query

Results from the artifical postcode table were dropped
when reevaluating rank of results.

more coverage tests for Geocode.php

remove unnecessary size check

be more strict with searches involving house numbers

Housenumber searches without a name cannot exist per
definition. Searches with only a name but no address
should not fall back on a search without house number.
This should improve postcode only search.

avoid unnecessary SQL when rechecking rank restrictions

fix viewbox related test

Coordinates are no longer specially ordered.

docs: clarify how to run pip install

Fixes #792.

order of viewbox coordinates does not matter

Merge pull request #802 from mtmail/coordinate-extract-missing-first-minus-sign

NearPoint::extractFromQuery - greedy-match optional quote sign

skip output of lat/lon in debug when no near point given

fix index when rechecking postcode name

return unchanged term if normalizer was not found

NearPoint::extractFromQuery - greedy-match optional quote sign

more API tests (mostly for user errors)

enable coverage also for tests with HTTP errors

Merge pull request #798 from mtmail/coordinate-extract-missing-first-minus-sign

fix to NearPoint::extractFromQuery handling first minus sign

fix to NearPoint::extractFromQuery handling first minus sign

fix handling of near queries with special search

Make sure to use the classtype tables with near search and
allow to search for arbitrary key/values (forbidding it
for viewbox searches).

Add tests for near queries.

fix display of nearpoint in debug view

reinstate key-value amenity search

Reenable search by the secret special term [key=value]
matching against the given main tag. Note that for most
cases that works only for tags that also have a special
search table.

more API tests for code coverage

Also fixes two minor issues related to structured queries.

improve code coverage documentation

reduce message frequency during indexing

setup: bail out earl when something is wrong with nominatim.so

setup: error out when web site user does not exist

User is needed to be able to grant rights.

run psql in quiet mode unless 'verbose' is enabled

timestamp info message and repeat warnings at end

docs: add more requirements for running tests

Merge pull request #782 from lonvia/rework-postcodes

Rework handling of artificial postcode centroids

README: point to release instalation instructions

increase search rank of leisure=park

Fixes #786.