utils/update.php

   1 #!/usr/bin/php -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 ini_set('memory_limit', '800M');
   7
   8 $aCMDOptions
   9 = array(
  10    "Import / update / index osm data",
  11    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  12    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  13    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  14
  15    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  16    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  17    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  18    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  19
  20    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  21
  22    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  23    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  24    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  25
  26    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  27    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  28    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  29    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  30
  31    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  32    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  33    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  34
  35    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  36    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolete)'),
  37   );
  38 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  39
  40 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  41 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  42
  43 date_default_timezone_set('Etc/UTC');
  44
  45 $oDB =& getDB();
  46
  47 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  48 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  49
  50 // cache memory to be used by osm2pgsql, should not be more than the available memory
  51 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  52 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  53     $iCacheMemory = getCacheMemoryMB();
  54     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  55 }
  56 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  57 if (!is_null(CONST_Osm2pgsql_Flatnode_File)) {
  58     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  59 }
  60
  61 if ($aResult['init-updates']) {
  62     // sanity check that the replication URL is correct
  63     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
  64     if ($sBaseState === false) {
  65         echo "\nCannot find state.txt file at the configured replication URL.\n";
  66         echo "Does the URL point to a directory containing OSM update data?\n\n";
  67         fail("replication URL not reachable.");
  68     }
  69     $sSetup = CONST_InstallPath.'/utils/setup.php';
  70     $iRet = -1;
  71     passthru($sSetup.' --create-functions --enable-diff-updates', $iRet);
  72     if ($iRet != 0) {
  73         fail('Error running setup script');
  74     }
  75
  76     $sDatabaseDate = getDatabaseDate($oDB);
  77     if ($sDatabaseDate === false) {
  78         fail("Cannot determine date of database.");
  79     }
  80     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
  81
  82     // get the appropriate state id
  83     $aOutput = 0;
  84     $sCmd = CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url;
  85     exec($sCmd, $aOutput, $iRet);
  86     if ($iRet != 0 || $aOutput[0] == 'None') {
  87         fail('Error running pyosmium tools');
  88     }
  89
  90     pg_query($oDB->connection, 'TRUNCATE import_status');
  91     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
  92     $sSQL .= $sDatabaseDate."',".$aOutput[0].", true)";
  93     if (!pg_query($oDB->connection, $sSQL)) {
  94         fail("Could not enter sequence into database.");
  95     }
  96
  97     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
  98 }
  99
 100 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 101     // import diffs and files directly (e.g. from osmosis --rri)
 102     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 103
 104     if (!file_exists($sNextFile)) {
 105         fail("Cannot open $sNextFile\n");
 106     }
 107
 108     // Import the file
 109     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 110     echo $sCMD."\n";
 111     exec($sCMD, $sJunk, $iErrorLevel);
 112
 113     if ($iErrorLevel) {
 114         fail("Error from osm2pgsql, $iErrorLevel\n");
 115     }
 116
 117     // Don't update the import status - we don't know what this file contains
 118 }
 119
 120 if ($aResult['calculate-postcodes']) {
 121     info("Update postcodes centroids");
 122     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 123     runSQLScript($sTemplate, true, true);
 124 }
 125
 126 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 127 $bHaveDiff = false;
 128 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 129 $sContentURL = '';
 130 if (isset($aResult['import-node']) && $aResult['import-node']) {
 131     if ($bUseOSMApi) {
 132         $sContentURL = 'http://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 133     } else {
 134         $sContentURL = 'http://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 135     }
 136 }
 137
 138 if (isset($aResult['import-way']) && $aResult['import-way']) {
 139     if ($bUseOSMApi) {
 140         $sContentURL = 'http://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 141     } else {
 142         $sContentURL = 'http://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 143     }
 144 }
 145
 146 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 147     if ($bUseOSMApi) {
 148         $sContentURLsModifyXMLstr = 'http://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 149     } else {
 150         $sContentURL = 'http://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 151     }
 152 }
 153
 154 if ($sContentURL) {
 155     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 156     $bHaveDiff = true;
 157 }
 158
 159 if ($bHaveDiff) {
 160     // import generated change file
 161     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 162     echo $sCMD."\n";
 163     exec($sCMD, $sJunk, $iErrorLevel);
 164     if ($iErrorLevel) {
 165         fail("osm2pgsql exited with error level $iErrorLevel\n");
 166     }
 167 }
 168
 169 if ($aResult['deduplicate']) {
 170     $oDB =& getDB();
 171
 172     if (getPostgresVersion($oDB) < 9.3) {
 173         fail("ERROR: deduplicate is only currently supported in postgresql 9.3");
 174     }
 175
 176     $sSQL = 'select partition from country_name order by country_code';
 177     $aPartitions = chksql($oDB->getCol($sSQL));
 178     $aPartitions[] = 0;
 179
 180     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 181     foreach ($aPartitions as $i => $sPartition) {
 182         $sSQL = "select count(*) from search_name_".$sPartition;
 183         $nEntries = chksql($oDB->getOne($sSQL));
 184         if ($nEntries == 0) {
 185             unset($aPartitions[$i]);
 186         }
 187     }
 188
 189     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 190     $sSQL .= " and class is null and type is null and country_code is null";
 191     $sSQL .= " group by word_token having count(*) > 1 order by word_token";
 192     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 193     foreach ($aDuplicateTokens as $aToken) {
 194         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 195         echo "Deduping ".$aToken['word_token']."\n";
 196         $sSQL = "select word_id,";
 197         $sSQL .= " (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num";
 198         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 199         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 200         $aTokenSet = chksql($oDB->getAll($sSQL));
 201
 202         $aKeep = array_shift($aTokenSet);
 203         $iKeepID = $aKeep['word_id'];
 204
 205         foreach ($aTokenSet as $aRemove) {
 206             $sSQL = "update search_name set";
 207             $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID."),";
 208             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 209             $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 210             chksql($oDB->query($sSQL));
 211
 212             $sSQL = "update search_name set";
 213             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 214             $sSQL .= " where nameaddress_vector @> ARRAY[".$aRemove['word_id']."]";
 215             chksql($oDB->query($sSQL));
 216
 217             $sSQL = "update location_area_country set";
 218             $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 219             $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 220             chksql($oDB->query($sSQL));
 221
 222             foreach ($aPartitions as $sPartition) {
 223                 $sSQL = "update search_name_".$sPartition." set";
 224                 $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID.")";
 225                 $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 226                 chksql($oDB->query($sSQL));
 227
 228                 $sSQL = "update location_area_country set";
 229                 $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 230                 $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 231                 chksql($oDB->query($sSQL));
 232             }
 233
 234             $sSQL = "delete from word where word_id = ".$aRemove['word_id'];
 235             chksql($oDB->query($sSQL));
 236         }
 237     }
 238 }
 239
 240 if ($aResult['index']) {
 241     passthru(CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank']);
 242 }
 243
 244 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 245     //
 246     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 247         fail("Error: Update interval too low for download.geofabrik.de.  Please check install documentation (http://wiki.openstreetmap.org/wiki/Nominatim/Installation#Updates)\n");
 248     }
 249
 250     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 251     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 252     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 253     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 254
 255     while (true) {
 256         $fStartTime = time();
 257         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
 258
 259         if (!$aLastState['sequence_id']) {
 260             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 261             exit(1);
 262         }
 263
 264         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 265
 266         $sBatchEnd = $aLastState['lastimportdate'];
 267         $iEndSequence = $aLastState['sequence_id'];
 268
 269         if ($aLastState['indexed'] == 't') {
 270             // Sleep if the update interval has not yet been reached.
 271             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 272             if ($fNextUpdate > $fStartTime) {
 273                 $iSleepTime = $fNextUpdate - $fStartTime;
 274                 echo "Waiting for next update for $iSleepTime sec.";
 275                 sleep($iSleepTime);
 276             }
 277
 278             // Download the next batch of changes.
 279             do {
 280                 $fCMDStartTime = time();
 281                 $iNextSeq = (int) $aLastState['sequence_id'];
 282                 unset($aOutput);
 283                 echo "$sCMDDownload -I $iNextSeq\n";
 284                 unlink($sImportFile);
 285                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 286
 287                 if ($iResult == 3) {
 288                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 289                     sleep(CONST_Replication_Recheck_Interval);
 290                 } elseif ($iResult != 0) {
 291                     echo 'ERROR: updates failed.';
 292                     exit($iResult);
 293                 } else {
 294                     $iEndSequence = (int)$aOutput[0];
 295                 }
 296             } while ($iResult);
 297
 298             // get the newest object from the diff file
 299             $sBatchEnd = 0;
 300             $iRet = 0;
 301             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 302             if ($iRet == 5) {
 303                 echo "Diff file is empty. skipping import.\n";
 304                 if (!$aResult['import-osmosis-all']) {
 305                     exit(0);
 306                 } else {
 307                     continue;
 308                 }
 309             }
 310             if ($iRet != 0) {
 311                 fail('Error getting date from diff file.');
 312             }
 313             $sBatchEnd = $sBatchEnd[0];
 314
 315             // Import the file
 316             $fCMDStartTime = time();
 317             echo $sCMDImport."\n";
 318             unset($sJunk);
 319             exec($sCMDImport, $sJunk, $iErrorLevel);
 320             if ($iErrorLevel) {
 321                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 322                 exit($iErrorLevel);
 323             }
 324
 325             // write the update logs
 326             $iFileSize = filesize($sImportFile);
 327             $sSQL = 'INSERT INTO import_osmosis_log';
 328             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 329             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 330             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 331             $sSQL .= date('Y-m-d H:i:s')."','import')";
 332             var_Dump($sSQL);
 333             chksql($oDB->query($sSQL));
 334
 335             // update the status
 336             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 337             var_Dump($sSQL);
 338             chksql($oDB->query($sSQL));
 339             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 340         }
 341
 342         // Index file
 343         if (!$aResult['no-index']) {
 344             $sThisIndexCmd = $sCMDIndex;
 345             $fCMDStartTime = time();
 346
 347             echo "$sThisIndexCmd\n";
 348             exec($sThisIndexCmd, $sJunk, $iErrorLevel);
 349             if ($iErrorLevel) {
 350                 echo "Error: $iErrorLevel\n";
 351                 exit($iErrorLevel);
 352             }
 353
 354             $sSQL = 'INSERT INTO import_osmosis_log';
 355             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 356             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 357             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 358             $sSQL .= date('Y-m-d H:i:s')."','index')";
 359             var_Dump($sSQL);
 360             $oDB->query($sSQL);
 361             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 362
 363             $sSQL = "update import_status set indexed = true";
 364             $oDB->query($sSQL);
 365         }
 366
 367         $fDuration = time() - $fStartTime;
 368         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 369         if (!$aResult['import-osmosis-all']) exit(0);
 370     }
 371 }