add root url to ban check

Merge remote-tracking branch 'upstream/master'

improve update interval computation

Don't do anything if a downloaded diff is empty after all
(may be happening when an empty diff was published upstream).

Correctly compute the waiting interval before checking for new
data. As the interval is now computed based on the date of the
newest object in the database, the configured intervals need
to be adjusted slightly to take into account the time it takes
for the server to publish a diff.

Merge remote-tracking branch 'upstream/master'

Guard against network failures in getDatabaseDate()

When updating use the date from the diff file instead
as we are guaranteed to get this if the file has been
successfully loaded.

recompile installation instructions

Merge remote-tracking branch 'upstream/master'

Ignore postcodes with comma and semicolon when computing address

OSM has sometimes postcode lists for cities which should
simply be ignored.

Fixes #673.

restrict linked places to place nodes

Avoids getting the wrong entry when the linked place has
double tagging.

Fixes #573.

Merge remote-tracking branch 'upstream/master'

get precomputed housenumbers and postcodes from address column

force update of linker when linkee is updates

Potential name changes need to be added to the linker's
name hstore.

Fixes #170.

remove wip tags from all tests

Remove boundries when downgrading from polygon to line

Fixes #135.

Merge remote-tracking branch 'upstream/master'

Merge pull request #745 from lonvia/restrict-poi-queries-results

limit number of considered places in POI queries

adapt postcode centroid import to new address hstore

The postcode now needs to be saved in address->'postcode'
not in the postcode column which is derived only later while
indexing.

Fixes #746.

Thanks to @kkoop.

limit number of considered places in POI queries

When searching for POIs in place_classtype_ tables limit the number
of objects considered to 300. The distinct and order by clauses
forced until now to retrive all matching objects and order them
first which can cause long running queries when retriving them
for large areas like the US.

Fixes #735.

advertise official location for test data on nominatim.org

fix formatting in test README

Merge remote-tracking branch 'upstream/master'

update osm2pgsql (revert use of "char")

Revert "use "char" type when refering to osm_type column"

This reverts commit 2dd7f0156a84ef07b808244faa2d42c384e9da32.

Merge pull request #742 from lonvia/compare-normalized

Require more exact match for special search terms

add special terms import to travis testing and fixup libs

disregard special phrases that do not match fully

Compare the normalized terms imported with the special
terms script with the normalized version of the query string.
Disregard them if they cannot be found. This avoids a significant
number of mismatches due to transliteration issues.

The match will only be done when a normalized word has been set
making this change backwards compatible with older databases.

add normalized version of special search terms on import

Requires the PHP bindings for libicu, so add that as a requirement.

Merge remote-tracking branch 'upstream/master'

use "char" type when refering to osm_type column

When using an explicit cast to char(1) when refering to the
osm_type column postgres won't use the index in some cases.
Observed only on postgres 9.5 from the original Postgres
reporsitories.

Fixes #741.

add /lookup endpoint to monitored API calls

also need postgres configuration changes for bug reports

Merge remote-tracking branch 'upstream/master'

update osm2pgsql (libosmium update and clubs)

Adds club key.

Fixes #725.

remove PHP version check

5.4 is the minimum supported version now.

Parameter to enable JSON pretty-printing

Merge pull request #739 from lonvia/max-importance

when linking places compute maximum importance

when linking places compute maximum importance

The linker and the linkee might have different wikipedia
tags and thus different importances. Prefer the higher
value.

Fixes #562.

add hints about bug reporting and pull requests

Merge remote-tracking branch 'upstream/master'

updates: always remove output file and start with correct sequence id

Merge remote-tracking branch 'upstream/master'

fix name of constant

remove instance hack for updates

Load control is now handled in the outer script.

Merge remote-tracking branch 'upstream/master'

update word statistics

Merge pull request #734 from lonvia/use-pyosmium-for-updates

Use pyosmium for updates

Merge pull request #730 from SrihariThalla/update-vagrantmd-doc

Update the formatting in Vagrant markdown doc

Update the formatting in Vagrant markdown doc

update docs for osmosis to pyosmium change

switch from osmosis to pyosmium for updates

Pyosmium comes with convenient functions for finding the
right state and does not require external files for
rembering the state. Updates can now conveniently
set up by simply running ./utils/update.php --init-updates
and state is kept directly in the import_status table.

This change requires an update in the database schema.
Run the following to update:

ALTER TABLE import_status ADD COLUMN sequence_id integer;
ALTER TABLE import_status ADD COLUMN indexed boolean;
ALTER TABLE import_osmosis_log ADD COLUMN batchseq integer;

Add FAQ to documentation

For the moment only copies the FAQ entries for installation from the wiki and adds one on running multiple extracts.

Add explicit link to usage policy for the hard of thinking

Merge pull request #724 from lonvia/update-country-list

Update country grid SQL file and move it to nominatim.org

update docs for new country grid location

Also updates some dependencies.

remove base country grid from repo

The updated country grid is significantly larger, so expect it to
be downloaded from the nominatim.org website instead.

Merge remote-tracking branch 'upstream/master'

remove another use of place.country_code

Merge remote-tracking branch 'upstream/master'

update osm2pgsql (geometry fix, column reordering)

Merge branch 'roques-tetris'

Merge pull request #708 from lonvia/check-for-invalid-geoms

make sure no invalid geometries end up in placex

make sure no invalid geometries end up in placex

Merge branch 'tetris' of https://github.com/roques/Nominatim into roques-tetris

use SMALLINT for ranks and partition; reorder columns for alignment

Merge remote-tracking branch 'upstream/master'

fix typo

get pg error on correct connection

send address interpolation import to correct postgres conn

also use address column for word count computation

explicitly name columns at INSERT

deduplicate words: do not look for duplicates in empty partitions

update: getPostgresVersion requires a database connection

with PHP7 the result of new() can no longer be assigned by reference

correct warm.php --search-only help text

Merge remote-tracking branch 'upstream/master'

Merge pull request #700 from lonvia/structured-address-info

Move address information into hstore column

update osm2pgsql (structured addresses and new libosmium)

Merge remote-tracking branch 'upstream/master'

use centroid for near feature search on rank 30

Rank 30 has some very large geometries (peninsulas, time zones,
etc.) for which a near feature search for the full geometry is
too expensive, so do the search on the centroid only.

fix operator precedence for hstore

remove street and addr_place columns in placex

The information is onyl needed for parenting,
so no need to store it permanently.

Remove street and addr_place from location_property_osmline

Derived columns are not needed because parent information is
always computed from scratch. So the columns are just duplicate
information.

Also get address information on nodes from address columns. The
other columns are not necessarily reliable when the node have not
been indexed yet.

adapt more BDD tests to hstore

fix DB bd tests for address hstore

adapt osm2pgsql tests for new address column

introduce address column for place tables

The column is a hstore containing the full OSM tag with key and
value.

abort osmline update correctly when way nodes are missing

Fixes #695.

Merge pull request #690 from ImreSamu/fix_install_sql_warnings

fix table/sequence ... does not exist

fix sql warnings
* ERROR:  sequence "seq_postcodes" does not exist
* ERROR:  table "import_polygon_error" does not exist
* ERROR:  table "import_polygon_delete" does not exist
* ERROR:  sequence "file" does not exist

Merge pull request #683 from lonvia/more-url-function

Factor out moreurl computation

move moreURL computation into Geocode and include all params

Fixes #678.

remove unused code

Merge pull request #682 from mtmail/update-docs

update docs/*.md based on vagrant/*.sh

update docs/*.md based on vagrant/*.sh

Merge pull request #680 from mtmail/git-submodule-hint

Update CMakeLists.txt

Update CMakeLists.txt

Ran into the issue this morning.
`git submodules` => `git submodule`

Merge remote-tracking branch 'upstream/master'

Merge pull request #676 from mtmail/html-map-position-box-disappeared

On /search.php the map-position box disappeared behind the map tiles

Merge pull request #674 from mtmail/leaflet-image-path-changed

leaflet 1.0 changed the path of the marker icon

On /search.php the map-position box disappeared behind the map tiles