]> git.openstreetmap.org Git - nominatim.git/blobdiff - utils/setup.php
update osm2pgsql (conscription number patch)
[nominatim.git] / utils / setup.php
index 01aa806257f656be740396ca71dfb8d53615a3ce..3f2e6d05d1a083089c7f9b1e70ce1ef52b85e933 100755 (executable)
                array('enable-debug-statements', '', 0, 1, 0, 0, 'bool', 'Include debug warning statements in pgsql commands'),
                array('create-minimal-tables', '', 0, 1, 0, 0, 'bool', 'Create minimal main tables'),
                array('create-tables', '', 0, 1, 0, 0, 'bool', 'Create main tables'),
-               array('create-partitions', '', 0, 1, 0, 0, 'bool', 'Create required partition tables and triggers'),
+               array('create-partition-tables', '', 0, 1, 0, 0, 'bool', 'Create required partition tables'),
+               array('create-partition-functions', '', 0, 1, 0, 0, 'bool', 'Create required partition triggers'),
                array('import-wikipedia-articles', '', 0, 1, 0, 0, 'bool', 'Import wikipedia article dump'),
                array('load-data', '', 0, 1, 0, 0, 'bool', 'Copy data to live tables from import table'),
                array('disable-token-precalc', '', 0, 1, 0, 0, 'bool', 'Disable name precalculation (EXPERT)'),
                array('import-tiger-data', '', 0, 1, 0, 0, 'bool', 'Import tiger data (not included in \'all\')'),
                array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Calculate postcode centroids'),
-               array('create-roads', '', 0, 1, 0, 0, 'bool', 'Calculate postcode centroids'),
+               array('create-roads', '', 0, 1, 0, 0, 'bool', ''),
                array('osmosis-init', '', 0, 1, 0, 0, 'bool', 'Generate default osmosis configuration'),
                array('index', '', 0, 1, 0, 0, 'bool', 'Index the data'),
                array('index-noanalyse', '', 0, 1, 0, 0, 'bool', 'Do not perform analyse operations during index (EXPERT)'),
@@ -95,7 +96,7 @@
                {
                        fail('database already exists ('.CONST_Database_DSN.')');
                }
-               passthruCheckReturn('createdb -E UTF-8 '.$aDSNInfo['database']);
+               passthruCheckReturn('createdb -E UTF-8 -p '.$aDSNInfo['port'].' '.$aDSNInfo['database']);
        }
 
        if ($aCMDResult['setup-db'] || $aCMDResult['all'])
                        exit;
                }
 
-               passthru('createlang plpgsql '.$aDSNInfo['database']);
+               passthru('createlang plpgsql -p '.$aDSNInfo['port'].' '.$aDSNInfo['database']);
                $pgver = (float) CONST_Postgresql_Version;
                if ($pgver < 9.1) {
                        pgsqlRunScriptFile(CONST_Path_Postgresql_Contrib.'/hstore.sql');
 
                pgsqlRunScriptFile(CONST_Path_Postgresql_Postgis.'/postgis.sql');
                $sVersionString = $oDB->getOne('select postgis_full_version()');
-               preg_match('#POSTGIS="([0-9]+)[.]([0-9]+)[.]([0-9]+) r([0-9]+)"#', $sVersionString, $aMatches);
+               preg_match('#POSTGIS="([0-9]+)[.]([0-9]+)[.]([0-9]+)( r([0-9]+))?"#', $sVersionString, $aMatches);
                if (CONST_Postgis_Version != $aMatches[1].'.'.$aMatches[2])
                {
                        echo "ERROR: PostGIS version is not correct.  Expected ".CONST_Postgis_Version." found ".$aMatches[1].'.'.$aMatches[2]."\n";
                }
                $osm2pgsql .= ' -lsc -O gazetteer --hstore';
                $osm2pgsql .= ' -C '.$iCacheMemory;
+               $osm2pgsql .= ' -P '.$aDSNInfo['port'];
                $osm2pgsql .= ' -d '.$aDSNInfo['database'].' '.$aCMDResult['osm-file'];
                passthruCheckReturn($osm2pgsql);
 
                pgsqlRunScript($sTemplate);
        }
 
-       if ($aCMDResult['create-partitions'] || $aCMDResult['all'])
+       if ($aCMDResult['create-partition-tables'] || $aCMDResult['all'])
        {
-               echo "Partitions\n";
+               echo "Partition Tables\n";
                $bDidSomething = true;
                $oDB =& getDB();
                $sSQL = 'select partition from country_name order by country_code';
                }
                $aPartitions[] = 0;
 
-               $sTemplate = file_get_contents(CONST_BasePath.'/sql/partitions.src.sql');
+               $sTemplate = file_get_contents(CONST_BasePath.'/sql/partition-tables.src.sql');
+               preg_match_all('#^-- start(.*?)^-- end#ms', $sTemplate, $aMatches, PREG_SET_ORDER);
+               foreach($aMatches as $aMatch)
+               {
+                       $sResult = '';
+                       foreach($aPartitions as $sPartitionName)
+                       {
+                               $sResult .= str_replace('-partition-', $sPartitionName, $aMatch[1]);
+                       }
+                       $sTemplate = str_replace($aMatch[0], $sResult, $sTemplate);
+               }
+
+               pgsqlRunScript($sTemplate);
+       }
+
+
+       if ($aCMDResult['create-partition-functions'] || $aCMDResult['all'])
+       {
+               echo "Partition Functions\n";
+               $bDidSomething = true;
+               $oDB =& getDB();
+               $sSQL = 'select partition from country_name order by country_code';
+               $aPartitions = $oDB->getCol($sSQL);
+               if (PEAR::isError($aPartitions))
+               {
+                       fail($aPartitions->getMessage());
+               }
+               $aPartitions[] = 0;
+
+               $sTemplate = file_get_contents(CONST_BasePath.'/sql/partition-functions.src.sql');
                preg_match_all('#^-- start(.*?)^-- end#ms', $sTemplate, $aMatches, PREG_SET_ORDER);
                foreach($aMatches as $aMatch)
                {
                $bDidSomething = true;
                $oDB =& getDB();
 
-               if (!file_exists(CONST_Osmosis_Binary)) fail("please download osmosis");
+               if (!file_exists(CONST_Osmosis_Binary))
+               {
+                       echo "Please download osmosis.\nIf it is already installed, check the path in your local settings (settings/local.php) file.\n";
+                       fail("osmosis not found in '".CONST_Osmosis_Binary."'");
+               }
                if (file_exists(CONST_BasePath.'/settings/configuration.txt'))
                {
                        echo "settings/configuration.txt already exists\n";
                else
                {
                        passthru(CONST_Osmosis_Binary.' --read-replication-interval-init '.CONST_BasePath.'/settings');
-                       // server layout changed afer license change, fix path to minutely diffs
-                       passthru("sed -i 's:minute-replicate:replication/minute:' ".CONST_BasePath.'/settings/configuration.txt');
+                       // update osmosis configuration.txt with our settings
+                       passthru("sed -i 's!baseUrl=.*!baseUrl=".CONST_Replication_Url."!' ".CONST_BasePath.'/settings/configuration.txt');
+                       passthru("sed -i 's:maxInterval = .*:maxInterval = ".CONST_Replication_MaxInterval.":' ".CONST_BasePath.'/settings/configuration.txt');
                }
 
                // Find the last node in the DB
                $iLastNodeTimestamp = strtotime($aLastNodeDate[1]) - (3*60*60);
 
 
-               // Search for the correct state file - uses file timestamps
-               $sRepURL = 'http://planet.openstreetmap.org/replication/minute/';
-               $sRep = file_get_contents($sRepURL);
-               preg_match_all('#<a href="[0-9]{3}/">([0-9]{3}/)</a> *(([0-9]{2})-([A-z]{3})-([0-9]{4}) ([0-9]{2}):([0-9]{2}))#', $sRep, $aRepMatches, PREG_SET_ORDER);
+               // Search for the correct state file - uses file timestamps so need to sort by date descending
+               $sRepURL = CONST_Replication_Url."/";
+               $sRep = file_get_contents($sRepURL."?C=M;O=D");
+               // download.geofabrik.de:    <a href="000/">000/</a></td><td align="right">26-Feb-2013 11:53  </td>
+               // planet.openstreetmap.org: <a href="273/">273/</a>                    22-Mar-2013 07:41    -
+               preg_match_all('#<a href="[0-9]{3}/">([0-9]{3}/)</a>.*(([0-9]{2})-([A-z]{3})-([0-9]{4}) ([0-9]{2}):([0-9]{2}))#', $sRep, $aRepMatches, PREG_SET_ORDER);
                $aPrevRepMatch = false;
                foreach($aRepMatches as $aRepMatch)
                {
                if ($aPrevRepMatch) $aRepMatch = $aPrevRepMatch;
 
                $sRepURL .= $aRepMatch[1];
-               $sRep = file_get_contents($sRepURL);
-               preg_match_all('#<a href="[0-9]{3}/">([0-9]{3}/)</a> *(([0-9]{2})-([A-z]{3})-([0-9]{4}) ([0-9]{2}):([0-9]{2}))#', $sRep, $aRepMatches, PREG_SET_ORDER);
+               $sRep = file_get_contents($sRepURL."?C=M;O=D");
+               preg_match_all('#<a href="[0-9]{3}/">([0-9]{3}/)</a>.*(([0-9]{2})-([A-z]{3})-([0-9]{4}) ([0-9]{2}):([0-9]{2}))#', $sRep, $aRepMatches, PREG_SET_ORDER);
                $aPrevRepMatch = false;
                foreach($aRepMatches as $aRepMatch)
                {
                if ($aPrevRepMatch) $aRepMatch = $aPrevRepMatch;
 
                $sRepURL .= $aRepMatch[1];
-               $sRep = file_get_contents($sRepURL);
-               preg_match_all('#<a href="[0-9]{3}.state.txt">([0-9]{3}).state.txt</a> *(([0-9]{2})-([A-z]{3})-([0-9]{4}) ([0-9]{2}):([0-9]{2}))#', $sRep, $aRepMatches, PREG_SET_ORDER);
+               $sRep = file_get_contents($sRepURL."?C=M;O=D");
+               preg_match_all('#<a href="[0-9]{3}.state.txt">([0-9]{3}).state.txt</a>.*(([0-9]{2})-([A-z]{3})-([0-9]{4}) ([0-9]{2}):([0-9]{2}))#', $sRep, $aRepMatches, PREG_SET_ORDER);
                $aPrevRepMatch = false;
                foreach($aRepMatches as $aRepMatch)
                {
                $bDidSomething = true;
                $sOutputFile = '';
                if (isset($aCMDResult['index-output'])) $sOutputFile = ' -F '.$aCMDResult['index-output'];
-               $sBaseCmd = CONST_BasePath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -t '.$iInstances.$sOutputFile;
+               $sBaseCmd = CONST_BasePath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$iInstances.$sOutputFile;
                passthruCheckReturn($sBaseCmd.' -R 4');
                if (!$aCMDResult['index-noanalyse']) pgsqlRunScript('ANALYSE');
                passthruCheckReturn($sBaseCmd.' -r 5 -R 25');
                @symlink(CONST_BasePath.'/website/search.php', $sTargetDir.'/index.php');
                @symlink(CONST_BasePath.'/website/deletable.php', $sTargetDir.'/deletable.php');
                @symlink(CONST_BasePath.'/website/polygons.php', $sTargetDir.'/polygons.php');
+               @symlink(CONST_BasePath.'/website/status.php', $sTargetDir.'/status.php');
                @symlink(CONST_BasePath.'/website/images', $sTargetDir.'/images');
                @symlink(CONST_BasePath.'/website/js', $sTargetDir.'/js');
                @symlink(CONST_BasePath.'/website/css', $sTargetDir.'/css');