move postcodes into special operation for Searches

Introduces postcode field in searches and sorts out any marked
postcodes.

fix typo

add postcodes as special items in word table

make sure postcode gets recomputed on update

use only computed postcode when getting address

Postcodes from address parts are now ignored as they have
been already taken into account when computing the postcode.

remove unused get_address_postcode function

normalize postcodes before adding to location tables

show address tags and postcode in details

precompute postcodes

Set postcode column to the best guess for the postcode for
the place.

add postcode to location_area tables

remove unused loaddata file

Load data is being done in the setup script.

replace AddGeometryColumn() functions

Directly add the columns to the table definitions instead.

remove now useless getNearestPostcode function

Most postcodes are not in the location-area tables anymore.

add indexing of artificial postcodes

add new location_postcode table

Artifical postcode centroids are now saved in there.

fix syntax typo

prepare for release 3.0.1

Merge pull request #779 from lonvia/update-osm2pgsql

update osm2pgsql

Merge pull request #776 from lonvia/vagrant-fix-country-paths

vagrant: download country data into correct directory

update osm2pgsql

Fixes #770.

Merge pull request #778 from woodpeck/patch-1

Mention explicitly that Osmosis is not required.

Mention explicitly that Osmosis is not required.

Merge pull request #775 from lonvia/code-coverage

enable code coverage computation for API BDD tests

vagrant: download country data into correct directory

enable code coverage computation for API BDD tests

Fixes #505.

Merge pull request #771 from rksh/patch-1

Warn about operation order with Wikipedia data

Warn about operation order with Wikipedia data

Give first-time users a tip about installing Wikipedia data before performing initial import.
once https://github.com/openstreetmap/Nominatim/issues/255 has been addressed, this note is no-longer important.

Merge pull request #768 from SrihariThalla/update-typo-fix

[Minor] [/docs] Update file name of update.php to init updates command

Update file name of update.php to init updates

Merge pull request #767 from manzari/patch-1

add country_osm_grid download to development (vagrant) setup instructions

Update VAGRANT.md

Merge pull request #763 from SrihariThalla/update-doc-links

Update incorrect internal links to docs

Update incorrect internal links to docs

prepare for release 3.0.0

make naming of documentation files consistent

add extensive debug messages for placex

refine bug report information

improve update interval computation

Don't do anything if a downloaded diff is empty after all
(may be happening when an empty diff was published upstream).

Correctly compute the waiting interval before checking for new
data. As the interval is now computed based on the date of the
newest object in the database, the configured intervals need
to be adjusted slightly to take into account the time it takes
for the server to publish a diff.

Guard against network failures in getDatabaseDate()

When updating use the date from the diff file instead
as we are guaranteed to get this if the file has been
successfully loaded.

recompile installation instructions

Ignore postcodes with comma and semicolon when computing address

OSM has sometimes postcode lists for cities which should
simply be ignored.

Fixes #673.

restrict linked places to place nodes

Avoids getting the wrong entry when the linked place has
double tagging.

Fixes #573.

get precomputed housenumbers and postcodes from address column

force update of linker when linkee is updates

Potential name changes need to be added to the linker's
name hstore.

Fixes #170.

remove wip tags from all tests

Remove boundries when downgrading from polygon to line

Fixes #135.

Merge pull request #745 from lonvia/restrict-poi-queries-results

limit number of considered places in POI queries

adapt postcode centroid import to new address hstore

The postcode now needs to be saved in address->'postcode'
not in the postcode column which is derived only later while
indexing.

Fixes #746.

Thanks to @kkoop.

limit number of considered places in POI queries

When searching for POIs in place_classtype_ tables limit the number
of objects considered to 300. The distinct and order by clauses
forced until now to retrive all matching objects and order them
first which can cause long running queries when retriving them
for large areas like the US.

Fixes #735.

advertise official location for test data on nominatim.org

fix formatting in test README

update osm2pgsql (revert use of "char")

Revert "use "char" type when refering to osm_type column"

This reverts commit 2dd7f0156a84ef07b808244faa2d42c384e9da32.

Merge pull request #742 from lonvia/compare-normalized

Require more exact match for special search terms

add special terms import to travis testing and fixup libs

disregard special phrases that do not match fully

Compare the normalized terms imported with the special
terms script with the normalized version of the query string.
Disregard them if they cannot be found. This avoids a significant
number of mismatches due to transliteration issues.

The match will only be done when a normalized word has been set
making this change backwards compatible with older databases.

add normalized version of special search terms on import

Requires the PHP bindings for libicu, so add that as a requirement.

use "char" type when refering to osm_type column

When using an explicit cast to char(1) when refering to the
osm_type column postgres won't use the index in some cases.
Observed only on postgres 9.5 from the original Postgres
reporsitories.

Fixes #741.

also need postgres configuration changes for bug reports

update osm2pgsql (libosmium update and clubs)

Adds club key.

Fixes #725.

remove PHP version check

5.4 is the minimum supported version now.

Parameter to enable JSON pretty-printing

Merge pull request #739 from lonvia/max-importance

when linking places compute maximum importance

when linking places compute maximum importance

The linker and the linkee might have different wikipedia
tags and thus different importances. Prefer the higher
value.

Fixes #562.

add hints about bug reporting and pull requests

updates: always remove output file and start with correct sequence id

fix name of constant

update word statistics

Merge pull request #734 from lonvia/use-pyosmium-for-updates

Use pyosmium for updates

Merge pull request #730 from SrihariThalla/update-vagrantmd-doc

Update the formatting in Vagrant markdown doc

Update the formatting in Vagrant markdown doc

update docs for osmosis to pyosmium change

switch from osmosis to pyosmium for updates

Pyosmium comes with convenient functions for finding the
right state and does not require external files for
rembering the state. Updates can now conveniently
set up by simply running ./utils/update.php --init-updates
and state is kept directly in the import_status table.

This change requires an update in the database schema.
Run the following to update:

ALTER TABLE import_status ADD COLUMN sequence_id integer;
ALTER TABLE import_status ADD COLUMN indexed boolean;
ALTER TABLE import_osmosis_log ADD COLUMN batchseq integer;

Add FAQ to documentation

For the moment only copies the FAQ entries for installation from the wiki and adds one on running multiple extracts.

Merge pull request #724 from lonvia/update-country-list

Update country grid SQL file and move it to nominatim.org

update docs for new country grid location

Also updates some dependencies.

remove base country grid from repo

The updated country grid is significantly larger, so expect it to
be downloaded from the nominatim.org website instead.

remove another use of place.country_code

update osm2pgsql (geometry fix, column reordering)

Merge branch 'roques-tetris'

Merge pull request #708 from lonvia/check-for-invalid-geoms

make sure no invalid geometries end up in placex

make sure no invalid geometries end up in placex

Merge branch 'tetris' of https://github.com/roques/Nominatim into roques-tetris

use SMALLINT for ranks and partition; reorder columns for alignment

fix typo

get pg error on correct connection

send address interpolation import to correct postgres conn

also use address column for word count computation

explicitly name columns at INSERT

deduplicate words: do not look for duplicates in empty partitions

update: getPostgresVersion requires a database connection

with PHP7 the result of new() can no longer be assigned by reference

correct warm.php --search-only help text

Merge pull request #700 from lonvia/structured-address-info

Move address information into hstore column

update osm2pgsql (structured addresses and new libosmium)

use centroid for near feature search on rank 30

Rank 30 has some very large geometries (peninsulas, time zones,
etc.) for which a near feature search for the full geometry is
too expensive, so do the search on the centroid only.

fix operator precedence for hstore

remove street and addr_place columns in placex

The information is onyl needed for parenting,
so no need to store it permanently.

Remove street and addr_place from location_property_osmline

Derived columns are not needed because parent information is
always computed from scratch. So the columns are just duplicate
information.

Also get address information on nodes from address columns. The
other columns are not necessarily reliable when the node have not
been indexed yet.

adapt more BDD tests to hstore