deal with some indexing edge cases

Merge pull request #9 from andreek/master

Postgis 2.0 compatibility
Seems to be compatible with all recent versions of postgis

DB Scheme changes: alter table placex add column calculated_country_code varchar(2);

function changes:
-----------------
Move to ST_PointOnSurface from ST_Centroid in various places to avoid looking up a point outside the polygon
Move to ST_Covers from ST_Contains to include points on admin boundaries
Re-order preference for get_country_code now our data is better. country_osm_grid is now the preffered source.
Fix code to calculate country code in placex_insert, rank_search test was too early
Add extra field to placex 'calculated_country_code' to improve structure of code
Move split_geometery function out of add_location into its own function
Rewrite split_geometery to be more efficient.
Change place_insert to do more updates and less delete/inserts (delete is slow)
Include wikipedia links in details.php ouput
Cleanup no longer used geometry validation (adding overhead)
Include debug statements in function.sql (--DEBUG: ) and add flag to setup.php to turn them on

setup.php:
----------
add flag --disable-token-precalc to speed up debuging
add flag --index-noanalyse to disable analysising DB at rank 4 and 26 (previously removed, but on my local DB it seems to be required)
add flag --enable-diff-updates (modifier to --create-functions) to turn on the code required for diff updates without having to modify functions.sql
add flag --enable-debug-statements (modifier to --create-functions) to turn on debug warning statements

update.php:
-----------
added flag --no-index to import osmosis changes without indexing them
extend the hack to allow import of JOSM generated osm files

country_grid.sql - reference copy of the sql used to generate the country_osm_grid table, needs cleanup

Suport postgis 2.0 for search

Merge branch 'master' of github.com:twain47/Nominatim

move index over nameaddress_vector back to delayed index creation

No longer needed for linking places.

remove intermediate ANALYSE while indexing

Autovacuum does a much better job.

make sure nominatim.so is accessible for postgresql

Even if the user has a very restrictive umask in place.

pre-create word list to avoid duplicates due to parallel indexing

Can't filter on rank_search before it has been assigned

updated wikipedia article code to allow for mutliple languages and remove code duplication

modifiers to encourage use of indices

don't have an address property in the return if we have not got address data

catch utf8 encoding errors and at least stop them aborting processing

Merge branch 'master' of github.com:twain47/Nominatim

calculate importance from wikipedia

more name checks in point and poly mergeing, and put the index creation earlier in the process

add licence file

fix typos in mapicons

make it run with 64bit and 32bit osm2pgsql

Needs tweaking on the osm2pgsql side, too: the osmid column
needs to have the same format as in osm2pgsql. That means
that the changes are still not compatible with existing installations.

change code to work with a 64-bit node size osm2pgsql

This breaks the 32-bit node size version.

Merge pull request #5 from mfn/improve_errmsg

Do not swallow PEAR error during setup in import-data.

depreciate place=region due to common miss-use

link nodes and relations using name->'name' index lookup instead of search_name

Do not swallow PEAR error.

set osm2pgsql cache memory to a default based on memory in the machine

Merge branch 'continent' of https://github.com/datendelphin/Nominatim

add support for Irish townlands

To work properly, osm2pgsql needs to be updated to the latest version.

only calculate country for search ranks country and below

allow slashes in house numbers

Format of replicate-sequence URL has changed

Additionally update/init import_status in the DB. If this is not
initialized here, subsequent updates of the status won't work.

ignore postcode boundaries without postcode

missing brackets in default name assignment

add switch for osm2pgsql cache size

also increased the default to 15GB to accaommodate growing planet

Merge branch 'mountain_pass' of https://github.com/datendelphin/Nominatim

force UTF-8 database

ranking for mountain_pass

Only link polygons on admin_centre is not already found a label AND if exactl search_rank match

search_name.name_vector index is now required during initial index due to code to merge relations and nodes

Update details.php to show linked places

Merge branch 'master' of github.com:twain47/Nominatim

Adds code to merge place polygon and points using:
  label relation member
  admin_center, admin_centre relation member (with same name)
  exact name, search_rank and location match

Adding this requires a new column and index:
  SELECT AddGeometryColumn('placex', 'centroid', 4326, 'GEOMETRY', 2);
  CREATE INDEX idx_placex_linked_place_id ON placex USING BTREE (linked_place_id);

postgresq 8.4 backward compatibility: count hash size with akeys instead of hash_to_array

don't use column names for variable names, 8.4 fails on them

Merge branch 'master' of github.com:twain47/Nominatim

Use GB postcode table as definitive source. resort by pressence of search word in output address and other misc very minor changes not commited from MQ servers

countries need language list as well

Black/whitelisting for special phrases

Allows to restrict the special phrases imported from the wiki.
Blacklist allows to exclude certain class/type combinations.
Whitelist allows to define an allowed subset of types for a class.
Adjust to your liking in settings/phrase_settings.php before running
the specialphrases script.

use X/Y max/min functions instead of box making

There is a strange bug in postgis where for some coordinates
it does not make a proper box around a point.

return a 500 on database error

only re-index addressable places

exclude places from hierarchical updates when they are only addressed
through their parent and do not have a name (thus no entry in search
name)

remove array_agg

shipped with postgresql in all supported versions

munin graph for request counts

sanity check for address interpolation

avoid deletes for new places

restrict deferred delete to concerned place

Deleting by osm_type/osm_id goes wrong if the place was reimported
because of a change in geometry, admin_level etc. The newly created
place is deleted as well in this case.

send fail messages to error log

respect addressdetails parameter in json output

convert CRLF to make git happy

restrict detection of lat/lon pairs

Only interpret numbers as geo coordinates if they are in the
actual range for latitude and longitude.

create proper token array for unknown housenumbers

configurable file logging

Respect CONST_Log_File setting and add two new configuration
variables CONST_Log_File_SearchLog and CONST_Log_File_ReverseLog
for the log file names.

add script to list broken polygons

creation of special phrases for country codes (forwardported from gazeteer)

update classtype tables for special phrases along with the places

extend scripts for Tiger 2011 data

hack around yes quotes in wiki and add a simple sanity check against wiki accidents

return a marginally better error message when query string is not in UTF-8,
force UTF-8 in search formular

move place=isolated_dwelling up to the same rank as place=locality

enable exact search of GB postcodes in aux postcode data,
partial search still disabled due to performance problems

during initial setup defer creation of non-vital until after nominatim indexing,
analyse DB during nominatim indexing so the query planer uses indexes correctly

avoid warnings when geometry of object cannot be determined

don't print address details if they are not requested

remove unused protolib

remove trailing commas in HTML to make IE happy (thanks to TomH)

munin graph for the import lag

don't classify normal SQL errors as deadlocks

improve import performance for special phrases

- create a temporary index on placex
- create indices on place_classtype_* tables after insert
- grant www-data permission to tables

extensions where introduced in postgresql in 9.1, not in 9.0

- remove dependency on intarray extension
- new config options for postgresql version and
  location of osm2pgsql and osmosis binaries
- new option --no-npi for update.php that supresses writing of NPIs in
  osmosis update mode
- add more GRANTs for www-data

fix typo mentioned by mathieu monney on mapquest's forum two weeks ago. this typo is responsible for 'location_property_tiger does not exist' errors.

create 'file' sequence required by update.php

bugfix nominatim

fix miss-parsed regex with - sign in lat,lon query

update place_id to BIGINT

bigint update script

over tokenising 'la'

de-deplicate terms

allow for offset paramater in amenity searches

woops

handle 'order state level queries better

handle 'order state level queries better

handle 'in/near' for state and country level features differently

hack to handle state abreviations that overlap with 'the' in various non-english languages

memory leak on large imports

country searches not filtered by countrycodes param, fixes #3756

remove debuing information

handle pure lat,lon search by passing to reverse geocoding and returning first match as a search result

enforce limit as maximum number of results

Do not apply limit where we have a sub-search