utils/update.php

   1 #!@PHP_BIN@ -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 require_once(CONST_BasePath.'/lib/setup_functions.php');
   7 require_once(CONST_BasePath.'/lib/setup/SetupClass.php');
   8 require_once(CONST_BasePath.'/lib/setup/AddressLevelParser.php');
   9
  10 ini_set('memory_limit', '800M');
  11
  12 use Nominatim\Setup\SetupFunctions as SetupFunctions;
  13
  14 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
  15 $aCMDOptions
  16 = array(
  17    'Import / update / index osm data',
  18    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  19    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  20    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  21
  22    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  23    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
  24    array('no-update-functions', '', 0, 1, 0, 0, 'bool', 'Do not update trigger functions to support differential updates (assuming the diff update logic is already present)'),
  25    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  26    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  27    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  28
  29    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  30
  31    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  32    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  33    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  34
  35    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  36    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  37    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  38    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  39
  40    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  41    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  42    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  43
  44    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  45    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
  46    array('update-address-levels', '', 0, 1, 0, 0, 'bool', 'Reimport address level configuration (EXPERT)'),
  47    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolete)'),
  48   );
  49
  50 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  51
  52 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  53
  54 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  55
  56 date_default_timezone_set('Etc/UTC');
  57
  58 $oDB =& getDB();
  59
  60 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  61 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  62
  63 // cache memory to be used by osm2pgsql, should not be more than the available memory
  64 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  65 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  66     $iCacheMemory = getCacheMemoryMB();
  67     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  68 }
  69 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  70 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
  71     $sOsm2pgsqlCmd .= ' -U ' . $aDSNInfo['username'];
  72 }
  73 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
  74     $sOsm2pgsqlCmd .= ' -H ' . $aDSNInfo['hostspec'];
  75 }
  76 $aProcEnv = null;
  77 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
  78     $aProcEnv = array_merge(array('PGPASSWORD' => $aDSNInfo['password']), $_ENV);
  79 }
  80
  81 if (!is_null(CONST_Osm2pgsql_Flatnode_File) && CONST_Osm2pgsql_Flatnode_File) {
  82     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  83 }
  84
  85 if ($aResult['init-updates']) {
  86     // sanity check that the replication URL is correct
  87     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
  88     if ($sBaseState === false) {
  89         echo "\nCannot find state.txt file at the configured replication URL.\n";
  90         echo "Does the URL point to a directory containing OSM update data?\n\n";
  91         fail('replication URL not reachable.');
  92     }
  93     // sanity check for pyosmium-get-changes
  94     if (!CONST_Pyosmium_Binary) {
  95         echo "\nCONST_Pyosmium_Binary not configured.\n";
  96         echo "You need to install pyosmium and set up the path to pyosmium-get-changes\n";
  97         echo "in your local settings file.\n\n";
  98         fail('CONST_Pyosmium_Binary not configured');
  99     }
 100     $aOutput = 0;
 101     $sCmd = CONST_Pyosmium_Binary.' --help';
 102     exec($sCmd, $aOutput, $iRet);
 103     if ($iRet != 0) {
 104         echo "Cannot execute pyosmium-get-changes.\n";
 105         echo "Make sure you have pyosmium installed correctly\n";
 106         echo "and have set up CONST_Pyosmium_Binary to point to pyosmium-get-changes.\n";
 107         fail('pyosmium-get-changes not found or not usable');
 108     }
 109
 110     if (!$aResult['no-update-functions']) {
 111         // instantiate setupClass to use the function therein
 112         $cSetup = new SetupFunctions(array(
 113                                       'enable-diff-updates' => true,
 114                                       'verbose' => $aResult['verbose']
 115                                      ));
 116         $cSetup->connect();
 117         $cSetup->createFunctions();
 118     }
 119
 120     $sDatabaseDate = getDatabaseDate($oDB);
 121     if ($sDatabaseDate === false) {
 122         fail('Cannot determine date of database.');
 123     }
 124     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
 125
 126     // get the appropriate state id
 127     $aOutput = 0;
 128     $sCmd = CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url;
 129     exec($sCmd, $aOutput, $iRet);
 130     if ($iRet != 0 || $aOutput[0] == 'None') {
 131         fail('Error running pyosmium tools');
 132     }
 133
 134     pg_query($oDB->connection, 'TRUNCATE import_status');
 135     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
 136     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
 137     if (!pg_query($oDB->connection, $sSQL)) {
 138         fail('Could not enter sequence into database.');
 139     }
 140
 141     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 142 }
 143
 144 if ($aResult['check-for-updates']) {
 145     $aLastState = chksql($oDB->getRow('SELECT sequence_id FROM import_status'));
 146
 147     if (!$aLastState['sequence_id']) {
 148         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
 149     }
 150
 151     system(CONST_BasePath.'/utils/check_server_for_updates.py '.CONST_Replication_Url.' '.$aLastState['sequence_id'], $iRet);
 152     exit($iRet);
 153 }
 154
 155 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 156     // import diffs and files directly (e.g. from osmosis --rri)
 157     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 158
 159     if (!file_exists($sNextFile)) {
 160         fail("Cannot open $sNextFile\n");
 161     }
 162
 163     // Import the file
 164     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 165     echo $sCMD."\n";
 166     $iErrorLevel = runWithEnv($sCMD, $aProcEnv);
 167
 168     if ($iErrorLevel) {
 169         fail("Error from osm2pgsql, $iErrorLevel\n");
 170     }
 171
 172     // Don't update the import status - we don't know what this file contains
 173 }
 174
 175 if ($aResult['calculate-postcodes']) {
 176     info('Update postcodes centroids');
 177     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 178     runSQLScript($sTemplate, true, true);
 179 }
 180
 181 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 182 $bHaveDiff = false;
 183 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 184 $sContentURL = '';
 185 if (isset($aResult['import-node']) && $aResult['import-node']) {
 186     if ($bUseOSMApi) {
 187         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 188     } else {
 189         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 190     }
 191 }
 192
 193 if (isset($aResult['import-way']) && $aResult['import-way']) {
 194     if ($bUseOSMApi) {
 195         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 196     } else {
 197         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 198     }
 199 }
 200
 201 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 202     if ($bUseOSMApi) {
 203         $sContentURLsModifyXMLstr = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 204     } else {
 205         $sContentURL = 'https://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 206     }
 207 }
 208
 209 if ($sContentURL) {
 210     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 211     $bHaveDiff = true;
 212 }
 213
 214 if ($bHaveDiff) {
 215     // import generated change file
 216     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 217     echo $sCMD."\n";
 218     $iErrorLevel = runWithEnv($sCMD, $aProcEnv);
 219     if ($iErrorLevel) {
 220         fail("osm2pgsql exited with error level $iErrorLevel\n");
 221     }
 222 }
 223
 224 if ($aResult['deduplicate']) {
 225     $oDB =& getDB();
 226
 227     if (getPostgresVersion($oDB) < 9.3) {
 228         fail('ERROR: deduplicate is only currently supported in postgresql 9.3');
 229     }
 230
 231     $sSQL = 'select partition from country_name order by country_code';
 232     $aPartitions = chksql($oDB->getCol($sSQL));
 233     $aPartitions[] = 0;
 234
 235     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 236     foreach ($aPartitions as $i => $sPartition) {
 237         $sSQL = 'select count(*) from search_name_'.$sPartition;
 238         $nEntries = chksql($oDB->getOne($sSQL));
 239         if ($nEntries == 0) {
 240             unset($aPartitions[$i]);
 241         }
 242     }
 243
 244     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 245     $sSQL .= ' and class is null and type is null and country_code is null';
 246     $sSQL .= ' group by word_token having count(*) > 1 order by word_token';
 247     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 248     foreach ($aDuplicateTokens as $aToken) {
 249         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 250         echo 'Deduping '.$aToken['word_token']."\n";
 251         $sSQL = 'select word_id,';
 252         $sSQL .= ' (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num';
 253         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 254         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 255         $aTokenSet = chksql($oDB->getAll($sSQL));
 256
 257         $aKeep = array_shift($aTokenSet);
 258         $iKeepID = $aKeep['word_id'];
 259
 260         foreach ($aTokenSet as $aRemove) {
 261             $sSQL = 'update search_name set';
 262             $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.'),';
 263             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 264             $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 265             chksql($oDB->query($sSQL));
 266
 267             $sSQL = 'update search_name set';
 268             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 269             $sSQL .= ' where nameaddress_vector @> ARRAY['.$aRemove['word_id'].']';
 270             chksql($oDB->query($sSQL));
 271
 272             $sSQL = 'update location_area_country set';
 273             $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 274             $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 275             chksql($oDB->query($sSQL));
 276
 277             foreach ($aPartitions as $sPartition) {
 278                 $sSQL = 'update search_name_'.$sPartition.' set';
 279                 $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 280                 $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 281                 chksql($oDB->query($sSQL));
 282
 283                 $sSQL = 'update location_area_country set';
 284                 $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 285                 $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 286                 chksql($oDB->query($sSQL));
 287             }
 288
 289             $sSQL = 'delete from word where word_id = '.$aRemove['word_id'];
 290             chksql($oDB->query($sSQL));
 291         }
 292     }
 293 }
 294
 295 if ($aResult['recompute-word-counts']) {
 296     info('Recompute frequency of full-word search terms');
 297     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
 298     runSQLScript($sTemplate, true, true);
 299 }
 300
 301 if ($aResult['index']) {
 302     $sCmd = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank'];
 303     if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 304         $sCmd .= ' -H ' . $aDSNInfo['hostspec'];
 305     }
 306     if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 307         $sCmd .= ' -U ' . $aDSNInfo['username'];
 308     }
 309
 310     runWithEnv($sCmd, $aProcEnv);
 311 }
 312
 313 if ($aResult['update-address-levels']) {
 314     echo 'Updating address levels from '.CONST_Address_Level_Config.".\n";
 315     $oAlParser = new \Nominatim\Setup\AddressLevelParser(CONST_Address_Level_Config);
 316     $oAlParser->createTable($oDB, 'address_levels');
 317 }
 318
 319 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 320     //
 321     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 322         fail('Error: Update interval too low for download.geofabrik.de. ' .
 323              "Please check install documentation (http://nominatim.org/release-docs/latest/Import-and-Update#setting-up-the-update-process)\n");
 324     }
 325
 326     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 327     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 328     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 329     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 330     if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 331         $sCMDIndex .= ' -H ' . $aDSNInfo['hostspec'];
 332     }
 333     if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 334         $sCMDIndex .= ' -U ' . $aDSNInfo['username'];
 335     }
 336
 337     while (true) {
 338         $fStartTime = time();
 339         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
 340
 341         if (!$aLastState['sequence_id']) {
 342             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 343             exit(1);
 344         }
 345
 346         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 347
 348         $sBatchEnd = $aLastState['lastimportdate'];
 349         $iEndSequence = $aLastState['sequence_id'];
 350
 351         if ($aLastState['indexed'] == 't') {
 352             // Sleep if the update interval has not yet been reached.
 353             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 354             if ($fNextUpdate > $fStartTime) {
 355                 $iSleepTime = $fNextUpdate - $fStartTime;
 356                 echo "Waiting for next update for $iSleepTime sec.";
 357                 sleep($iSleepTime);
 358             }
 359
 360             // Download the next batch of changes.
 361             do {
 362                 $fCMDStartTime = time();
 363                 $iNextSeq = (int) $aLastState['sequence_id'];
 364                 unset($aOutput);
 365                 echo "$sCMDDownload -I $iNextSeq\n";
 366                 if (file_exists($sImportFile)) {
 367                     unlink($sImportFile);
 368                 }
 369                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 370
 371                 if ($iResult == 3) {
 372                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 373                     sleep(CONST_Replication_Recheck_Interval);
 374                 } elseif ($iResult != 0) {
 375                     echo 'ERROR: updates failed.';
 376                     exit($iResult);
 377                 } else {
 378                     $iEndSequence = (int)$aOutput[0];
 379                 }
 380             } while ($iResult);
 381
 382             // get the newest object from the diff file
 383             $sBatchEnd = 0;
 384             $iRet = 0;
 385             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 386             if ($iRet == 5) {
 387                 echo "Diff file is empty. skipping import.\n";
 388                 if (!$aResult['import-osmosis-all']) {
 389                     exit(0);
 390                 } else {
 391                     continue;
 392                 }
 393             }
 394             if ($iRet != 0) {
 395                 fail('Error getting date from diff file.');
 396             }
 397             $sBatchEnd = $sBatchEnd[0];
 398
 399             // Import the file
 400             $fCMDStartTime = time();
 401             echo $sCMDImport."\n";
 402             unset($sJunk);
 403             $iErrorLevel = runWithEnv($sCMDImport, $aProcEnv);
 404             if ($iErrorLevel) {
 405                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 406                 exit($iErrorLevel);
 407             }
 408
 409             // write the update logs
 410             $iFileSize = filesize($sImportFile);
 411             $sSQL = 'INSERT INTO import_osmosis_log';
 412             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 413             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 414             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 415             $sSQL .= date('Y-m-d H:i:s')."','import')";
 416             var_Dump($sSQL);
 417             chksql($oDB->query($sSQL));
 418
 419             // update the status
 420             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 421             var_Dump($sSQL);
 422             chksql($oDB->query($sSQL));
 423             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 424         }
 425
 426         // Index file
 427         if (!$aResult['no-index']) {
 428             $sThisIndexCmd = $sCMDIndex;
 429             $fCMDStartTime = time();
 430
 431             echo "$sThisIndexCmd\n";
 432             $iErrorLevel = runWithEnv($sThisIndexCmd, $aProcEnv);
 433             if ($iErrorLevel) {
 434                 echo "Error: $iErrorLevel\n";
 435                 exit($iErrorLevel);
 436             }
 437
 438             $sSQL = 'INSERT INTO import_osmosis_log';
 439             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 440             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 441             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 442             $sSQL .= date('Y-m-d H:i:s')."','index')";
 443             var_Dump($sSQL);
 444             $oDB->query($sSQL);
 445             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 446
 447             $sSQL = 'update import_status set indexed = true';
 448             $oDB->query($sSQL);
 449         }
 450
 451         $fDuration = time() - $fStartTime;
 452         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 453         if (!$aResult['import-osmosis-all']) exit(0);
 454     }
 455 }