utils/update.php

   1 #!/usr/bin/php -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 ini_set('memory_limit', '800M');
   7
   8 $aCMDOptions
   9 = array(
  10    'Import / update / index osm data',
  11    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  12    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  13    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  14
  15    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  16    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
  17    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  18    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  19    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  20
  21    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  22
  23    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  24    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  25    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  26
  27    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  28    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  29    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  30    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  31
  32    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  33    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  34    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  35
  36    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  37    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
  38    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolete)'),
  39   );
  40 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  41
  42 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  43 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  44
  45 date_default_timezone_set('Etc/UTC');
  46
  47 $oDB =& getDB();
  48
  49 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  50 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  51
  52 // cache memory to be used by osm2pgsql, should not be more than the available memory
  53 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  54 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  55     $iCacheMemory = getCacheMemoryMB();
  56     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  57 }
  58 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  59 if (!is_null(CONST_Osm2pgsql_Flatnode_File) && CONST_Osm2pgsql_Flatnode_File) {
  60     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  61 }
  62
  63 if ($aResult['init-updates']) {
  64     // sanity check that the replication URL is correct
  65     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
  66     if ($sBaseState === false) {
  67         echo "\nCannot find state.txt file at the configured replication URL.\n";
  68         echo "Does the URL point to a directory containing OSM update data?\n\n";
  69         fail('replication URL not reachable.');
  70     }
  71     $sSetup = CONST_InstallPath.'/utils/setup.php';
  72     $iRet = -1;
  73     passthru($sSetup.' --create-functions --enable-diff-updates', $iRet);
  74     if ($iRet != 0) {
  75         fail('Error running setup script');
  76     }
  77
  78     $sDatabaseDate = getDatabaseDate($oDB);
  79     if ($sDatabaseDate === false) {
  80         fail('Cannot determine date of database.');
  81     }
  82     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
  83
  84     // get the appropriate state id
  85     $aOutput = 0;
  86     $sCmd = CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url;
  87     exec($sCmd, $aOutput, $iRet);
  88     if ($iRet != 0 || $aOutput[0] == 'None') {
  89         fail('Error running pyosmium tools');
  90     }
  91
  92     pg_query($oDB->connection, 'TRUNCATE import_status');
  93     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
  94     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
  95     if (!pg_query($oDB->connection, $sSQL)) {
  96         fail('Could not enter sequence into database.');
  97     }
  98
  99     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 100 }
 101
 102 if ($aResult['check-for-updates']) {
 103     $aLastState = chksql($oDB->getRow('SELECT sequence_id FROM import_status'));
 104
 105     if (!$aLastState['sequence_id']) {
 106         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
 107     }
 108
 109     system(CONST_BasePath.'/utils/check_server_for_updates.py '.CONST_Replication_Url.' '.$aLastState['sequence_id'], $iRet);
 110     exit($iRet);
 111 }
 112
 113 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 114     // import diffs and files directly (e.g. from osmosis --rri)
 115     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 116
 117     if (!file_exists($sNextFile)) {
 118         fail("Cannot open $sNextFile\n");
 119     }
 120
 121     // Import the file
 122     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 123     echo $sCMD."\n";
 124     exec($sCMD, $sJunk, $iErrorLevel);
 125
 126     if ($iErrorLevel) {
 127         fail("Error from osm2pgsql, $iErrorLevel\n");
 128     }
 129
 130     // Don't update the import status - we don't know what this file contains
 131 }
 132
 133 if ($aResult['calculate-postcodes']) {
 134     info('Update postcodes centroids');
 135     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 136     runSQLScript($sTemplate, true, true);
 137 }
 138
 139 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 140 $bHaveDiff = false;
 141 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 142 $sContentURL = '';
 143 if (isset($aResult['import-node']) && $aResult['import-node']) {
 144     if ($bUseOSMApi) {
 145         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 146     } else {
 147         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 148     }
 149 }
 150
 151 if (isset($aResult['import-way']) && $aResult['import-way']) {
 152     if ($bUseOSMApi) {
 153         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 154     } else {
 155         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 156     }
 157 }
 158
 159 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 160     if ($bUseOSMApi) {
 161         $sContentURLsModifyXMLstr = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 162     } else {
 163         $sContentURL = 'https://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 164     }
 165 }
 166
 167 if ($sContentURL) {
 168     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 169     $bHaveDiff = true;
 170 }
 171
 172 if ($bHaveDiff) {
 173     // import generated change file
 174     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 175     echo $sCMD."\n";
 176     exec($sCMD, $sJunk, $iErrorLevel);
 177     if ($iErrorLevel) {
 178         fail("osm2pgsql exited with error level $iErrorLevel\n");
 179     }
 180 }
 181
 182 if ($aResult['deduplicate']) {
 183     $oDB =& getDB();
 184
 185     if (getPostgresVersion($oDB) < 9.3) {
 186         fail('ERROR: deduplicate is only currently supported in postgresql 9.3');
 187     }
 188
 189     $sSQL = 'select partition from country_name order by country_code';
 190     $aPartitions = chksql($oDB->getCol($sSQL));
 191     $aPartitions[] = 0;
 192
 193     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 194     foreach ($aPartitions as $i => $sPartition) {
 195         $sSQL = 'select count(*) from search_name_'.$sPartition;
 196         $nEntries = chksql($oDB->getOne($sSQL));
 197         if ($nEntries == 0) {
 198             unset($aPartitions[$i]);
 199         }
 200     }
 201
 202     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 203     $sSQL .= ' and class is null and type is null and country_code is null';
 204     $sSQL .= ' group by word_token having count(*) > 1 order by word_token';
 205     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 206     foreach ($aDuplicateTokens as $aToken) {
 207         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 208         echo 'Deduping '.$aToken['word_token']."\n";
 209         $sSQL = 'select word_id,';
 210         $sSQL .= ' (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num';
 211         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 212         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 213         $aTokenSet = chksql($oDB->getAll($sSQL));
 214
 215         $aKeep = array_shift($aTokenSet);
 216         $iKeepID = $aKeep['word_id'];
 217
 218         foreach ($aTokenSet as $aRemove) {
 219             $sSQL = 'update search_name set';
 220             $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.'),';
 221             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 222             $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 223             chksql($oDB->query($sSQL));
 224
 225             $sSQL = 'update search_name set';
 226             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 227             $sSQL .= ' where nameaddress_vector @> ARRAY['.$aRemove['word_id'].']';
 228             chksql($oDB->query($sSQL));
 229
 230             $sSQL = 'update location_area_country set';
 231             $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 232             $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 233             chksql($oDB->query($sSQL));
 234
 235             foreach ($aPartitions as $sPartition) {
 236                 $sSQL = 'update search_name_'.$sPartition.' set';
 237                 $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 238                 $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 239                 chksql($oDB->query($sSQL));
 240
 241                 $sSQL = 'update location_area_country set';
 242                 $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 243                 $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 244                 chksql($oDB->query($sSQL));
 245             }
 246
 247             $sSQL = 'delete from word where word_id = '.$aRemove['word_id'];
 248             chksql($oDB->query($sSQL));
 249         }
 250     }
 251 }
 252
 253 if ($aResult['recompute-word-counts']) {
 254     info('Recompute frequency of full-word search terms');
 255     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
 256     runSQLScript($sTemplate, true, true);
 257 }
 258
 259 if ($aResult['index']) {
 260     passthru(CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank']);
 261 }
 262
 263 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 264     //
 265     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 266         fail('Error: Update interval too low for download.geofabrik.de. ' .
 267              "Please check install documentation (http://nominatim.org/release-docs/latest/Import-and-Update#setting-up-the-update-process)\n");
 268     }
 269
 270     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 271     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 272     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 273     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 274
 275     while (true) {
 276         $fStartTime = time();
 277         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
 278
 279         if (!$aLastState['sequence_id']) {
 280             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 281             exit(1);
 282         }
 283
 284         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 285
 286         $sBatchEnd = $aLastState['lastimportdate'];
 287         $iEndSequence = $aLastState['sequence_id'];
 288
 289         if ($aLastState['indexed'] == 't') {
 290             // Sleep if the update interval has not yet been reached.
 291             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 292             if ($fNextUpdate > $fStartTime) {
 293                 $iSleepTime = $fNextUpdate - $fStartTime;
 294                 echo "Waiting for next update for $iSleepTime sec.";
 295                 sleep($iSleepTime);
 296             }
 297
 298             // Download the next batch of changes.
 299             do {
 300                 $fCMDStartTime = time();
 301                 $iNextSeq = (int) $aLastState['sequence_id'];
 302                 unset($aOutput);
 303                 echo "$sCMDDownload -I $iNextSeq\n";
 304                 if (file_exists($sImportFile)) {
 305                     unlink($sImportFile);
 306                 }
 307                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 308
 309                 if ($iResult == 3) {
 310                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 311                     sleep(CONST_Replication_Recheck_Interval);
 312                 } elseif ($iResult != 0) {
 313                     echo 'ERROR: updates failed.';
 314                     exit($iResult);
 315                 } else {
 316                     $iEndSequence = (int)$aOutput[0];
 317                 }
 318             } while ($iResult);
 319
 320             // get the newest object from the diff file
 321             $sBatchEnd = 0;
 322             $iRet = 0;
 323             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 324             if ($iRet == 5) {
 325                 echo "Diff file is empty. skipping import.\n";
 326                 if (!$aResult['import-osmosis-all']) {
 327                     exit(0);
 328                 } else {
 329                     continue;
 330                 }
 331             }
 332             if ($iRet != 0) {
 333                 fail('Error getting date from diff file.');
 334             }
 335             $sBatchEnd = $sBatchEnd[0];
 336
 337             // Import the file
 338             $fCMDStartTime = time();
 339             echo $sCMDImport."\n";
 340             unset($sJunk);
 341             exec($sCMDImport, $sJunk, $iErrorLevel);
 342             if ($iErrorLevel) {
 343                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 344                 exit($iErrorLevel);
 345             }
 346
 347             // write the update logs
 348             $iFileSize = filesize($sImportFile);
 349             $sSQL = 'INSERT INTO import_osmosis_log';
 350             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 351             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 352             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 353             $sSQL .= date('Y-m-d H:i:s')."','import')";
 354             var_Dump($sSQL);
 355             chksql($oDB->query($sSQL));
 356
 357             // update the status
 358             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 359             var_Dump($sSQL);
 360             chksql($oDB->query($sSQL));
 361             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 362         }
 363
 364         // Index file
 365         if (!$aResult['no-index']) {
 366             $sThisIndexCmd = $sCMDIndex;
 367             $fCMDStartTime = time();
 368
 369             echo "$sThisIndexCmd\n";
 370             exec($sThisIndexCmd, $sJunk, $iErrorLevel);
 371             if ($iErrorLevel) {
 372                 echo "Error: $iErrorLevel\n";
 373                 exit($iErrorLevel);
 374             }
 375
 376             $sSQL = 'INSERT INTO import_osmosis_log';
 377             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 378             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 379             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 380             $sSQL .= date('Y-m-d H:i:s')."','index')";
 381             var_Dump($sSQL);
 382             $oDB->query($sSQL);
 383             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 384
 385             $sSQL = 'update import_status set indexed = true';
 386             $oDB->query($sSQL);
 387         }
 388
 389         $fDuration = time() - $fStartTime;
 390         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 391         if (!$aResult['import-osmosis-all']) exit(0);
 392     }
 393 }