utils/update.php

   1 <?php
   2
   3 require_once(CONST_BasePath.'/lib/init-cmd.php');
   4 require_once(CONST_BasePath.'/lib/setup_functions.php');
   5 require_once(CONST_BasePath.'/lib/setup/SetupClass.php');
   6 require_once(CONST_BasePath.'/lib/setup/AddressLevelParser.php');
   7
   8 ini_set('memory_limit', '800M');
   9
  10 use Nominatim\Setup\SetupFunctions as SetupFunctions;
  11
  12 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
  13 $aCMDOptions
  14 = array(
  15    'Import / update / index osm data',
  16    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  17    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  18    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  19
  20    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  21    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
  22    array('no-update-functions', '', 0, 1, 0, 0, 'bool', 'Do not update trigger functions to support differential updates (assuming the diff update logic is already present)'),
  23    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  24    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  25    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  26
  27    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  28
  29    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  30    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  31    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  32
  33    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  34    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  35    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  36    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  37
  38    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  39    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  40    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  41
  42    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
  43    array('update-address-levels', '', 0, 1, 0, 0, 'bool', 'Reimport address level configuration (EXPERT)'),
  44    array('recompute-importance', '', 0, 1, 0, 0, 'bool', 'Recompute place importances')
  45   );
  46
  47 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  48
  49 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  50 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  51
  52 date_default_timezone_set('Etc/UTC');
  53
  54 $oDB = new Nominatim\DB();
  55 $oDB->connect();
  56 $fPostgresVersion = $oDB->getPostgresVersion();
  57
  58 $aDSNInfo = Nominatim\DB::parseDSN(CONST_Database_DSN);
  59 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  60
  61 // cache memory to be used by osm2pgsql, should not be more than the available memory
  62 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  63 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  64     $iCacheMemory = getCacheMemoryMB();
  65     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  66 }
  67
  68 $oOsm2pgsqlCmd = (new \Nominatim\Shell(CONST_Osm2pgsql_Binary))
  69                  ->addParams('--hstore')
  70                  ->addParams('--latlong')
  71                  ->addParams('--append')
  72                  ->addParams('--slim')
  73                  ->addParams('--number-processes', 1)
  74                  ->addParams('--cache', $iCacheMemory)
  75                  ->addParams('--output', 'gazetteer')
  76                  ->addParams('--style', CONST_Import_Style)
  77                  ->addParams('--database', $aDSNInfo['database'])
  78                  ->addParams('--port', $aDSNInfo['port']);
  79
  80 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
  81     $oOsm2pgsqlCmd->addParams('--host', $aDSNInfo['hostspec']);
  82 }
  83 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
  84     $oOsm2pgsqlCmd->addParams('--user', $aDSNInfo['username']);
  85 }
  86 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
  87     $oOsm2pgsqlCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
  88 }
  89 if (!is_null(CONST_Osm2pgsql_Flatnode_File) && CONST_Osm2pgsql_Flatnode_File) {
  90     $oOsm2pgsqlCmd->addParams('--flat-nodes', CONST_Osm2pgsql_Flatnode_File);
  91 }
  92 if ($fPostgresVersion >= 11.0) {
  93     $oOsm2pgsqlCmd->addEnvPair(
  94         'PGOPTIONS',
  95         '-c jit=off -c max_parallel_workers_per_gather=0'
  96     );
  97 }
  98
  99
 100 $oIndexCmd = (new \Nominatim\Shell(CONST_BasePath.'/nominatim/nominatim.py'))
 101              ->addParams('--database', $aDSNInfo['database'])
 102              ->addParams('--port', $aDSNInfo['port'])
 103              ->addParams('--threads', $aResult['index-instances']);
 104 if (!$aResult['quiet']) {
 105     $oIndexCmd->addParams('--verbose');
 106 }
 107 if ($aResult['verbose']) {
 108     $oIndexCmd->addParams('--verbose');
 109 }
 110 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 111     $oIndexCmd->addParams('--host', $aDSNInfo['hostspec']);
 112 }
 113 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 114     $oIndexCmd->addParams('--username', $aDSNInfo['username']);
 115 }
 116 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
 117     $oIndexCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
 118 }
 119
 120
 121 if ($aResult['init-updates']) {
 122     // sanity check that the replication URL is correct
 123     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
 124     if ($sBaseState === false) {
 125         echo "\nCannot find state.txt file at the configured replication URL.\n";
 126         echo "Does the URL point to a directory containing OSM update data?\n\n";
 127         fail('replication URL not reachable.');
 128     }
 129     // sanity check for pyosmium-get-changes
 130     if (!CONST_Pyosmium_Binary) {
 131         echo "\nCONST_Pyosmium_Binary not configured.\n";
 132         echo "You need to install pyosmium and set up the path to pyosmium-get-changes\n";
 133         echo "in your local settings file.\n\n";
 134         fail('CONST_Pyosmium_Binary not configured');
 135     }
 136
 137     $aOutput = 0;
 138     $oCMD = new \Nominatim\Shell(CONST_Pyosmium_Binary, '--help');
 139     exec($oCMD->escapedCmd(), $aOutput, $iRet);
 140
 141     if ($iRet != 0) {
 142         echo "Cannot execute pyosmium-get-changes.\n";
 143         echo "Make sure you have pyosmium installed correctly\n";
 144         echo "and have set up CONST_Pyosmium_Binary to point to pyosmium-get-changes.\n";
 145         fail('pyosmium-get-changes not found or not usable');
 146     }
 147
 148     if (!$aResult['no-update-functions']) {
 149         // instantiate setupClass to use the function therein
 150         $cSetup = new SetupFunctions(array(
 151                                       'enable-diff-updates' => true,
 152                                       'verbose' => $aResult['verbose']
 153                                      ));
 154         $cSetup->createFunctions();
 155     }
 156
 157     $sDatabaseDate = getDatabaseDate($oDB);
 158     if (!$sDatabaseDate) {
 159         fail('Cannot determine date of database.');
 160     }
 161     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
 162
 163     // get the appropriate state id
 164     $aOutput = 0;
 165     $oCMD = (new \Nominatim\Shell(CONST_Pyosmium_Binary))
 166             ->addParams('--start-date', $sWindBack)
 167             ->addParams('--server', CONST_Replication_Url);
 168
 169     exec($oCMD->escapedCmd(), $aOutput, $iRet);
 170     if ($iRet != 0 || $aOutput[0] == 'None') {
 171         fail('Error running pyosmium tools');
 172     }
 173
 174     $oDB->exec('TRUNCATE import_status');
 175     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
 176     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
 177
 178     try {
 179         $oDB->exec($sSQL);
 180     } catch (\Nominatim\DatabaseError $e) {
 181         fail('Could not enter sequence into database.');
 182     }
 183
 184     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 185 }
 186
 187 if ($aResult['check-for-updates']) {
 188     $aLastState = $oDB->getRow('SELECT sequence_id FROM import_status');
 189
 190     if (!$aLastState['sequence_id']) {
 191         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
 192     }
 193
 194     $oCmd = (new \Nominatim\Shell(CONST_BasePath.'/utils/check_server_for_updates.py'))
 195             ->addParams(CONST_Replication_Url)
 196             ->addParams($aLastState['sequence_id']);
 197     $iRet = $oCmd->run();
 198
 199     exit($iRet);
 200 }
 201
 202 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 203     // import diffs and files directly (e.g. from osmosis --rri)
 204     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 205
 206     if (!file_exists($sNextFile)) {
 207         fail("Cannot open $sNextFile\n");
 208     }
 209
 210     // Import the file
 211     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sNextFile);
 212     echo $oCMD->escapedCmd()."\n";
 213     $iRet = $oCMD->run();
 214
 215     if ($iRet) {
 216         fail("Error from osm2pgsql, $iRet\n");
 217     }
 218
 219     // Don't update the import status - we don't know what this file contains
 220 }
 221
 222 if ($aResult['calculate-postcodes']) {
 223     info('Update postcodes centroids');
 224     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 225     runSQLScript($sTemplate, true, true);
 226 }
 227
 228 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 229 $bHaveDiff = false;
 230 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 231 $sContentURL = '';
 232 if (isset($aResult['import-node']) && $aResult['import-node']) {
 233     if ($bUseOSMApi) {
 234         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 235     } else {
 236         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 237     }
 238 }
 239
 240 if (isset($aResult['import-way']) && $aResult['import-way']) {
 241     if ($bUseOSMApi) {
 242         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 243     } else {
 244         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');%3E;);out%20meta;';
 245     }
 246 }
 247
 248 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 249     if ($bUseOSMApi) {
 250         $sContentURL = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 251     } else {
 252         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(rel(id:'.$aResult['import-relation'].');%3E;);out%20meta;';
 253     }
 254 }
 255
 256 if ($sContentURL) {
 257     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 258     $bHaveDiff = true;
 259 }
 260
 261 if ($bHaveDiff) {
 262     // import generated change file
 263
 264     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sTemporaryFile);
 265     echo $oCMD->escapedCmd()."\n";
 266
 267     $iRet = $oCMD->run();
 268     if ($iRet) {
 269         fail("osm2pgsql exited with error level $iRet\n");
 270     }
 271 }
 272
 273 if ($aResult['recompute-word-counts']) {
 274     info('Recompute frequency of full-word search terms');
 275     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
 276     runSQLScript($sTemplate, true, true);
 277 }
 278
 279 if ($aResult['index']) {
 280     $oCmd = (clone $oIndexCmd)
 281             ->addParams('--minrank', $aResult['index-rank'], '-b');
 282     $oCmd->run();
 283
 284     $oCmd = (clone $oIndexCmd)
 285             ->addParams('--minrank', $aResult['index-rank']);
 286     $oCmd->run();
 287
 288     $oDB->exec('update import_status set indexed = true');
 289 }
 290
 291 if ($aResult['update-address-levels']) {
 292     echo 'Updating address levels from '.CONST_Address_Level_Config.".\n";
 293     $oAlParser = new \Nominatim\Setup\AddressLevelParser(CONST_Address_Level_Config);
 294     $oAlParser->createTable($oDB, 'address_levels');
 295 }
 296
 297 if ($aResult['recompute-importance']) {
 298     echo "Updating importance values for database.\n";
 299     $oDB = new Nominatim\DB();
 300     $oDB->connect();
 301
 302     $sSQL = 'ALTER TABLE placex DISABLE TRIGGER ALL;';
 303     $sSQL .= 'UPDATE placex SET (wikipedia, importance) =';
 304     $sSQL .= '   (SELECT wikipedia, importance';
 305     $sSQL .= '    FROM compute_importance(extratags, country_code, osm_type, osm_id));';
 306     $sSQL .= 'UPDATE placex s SET wikipedia = d.wikipedia, importance = d.importance';
 307     $sSQL .= ' FROM placex d';
 308     $sSQL .= ' WHERE s.place_id = d.linked_place_id and d.wikipedia is not null';
 309     $sSQL .= '       and (s.wikipedia is null or s.importance < d.importance);';
 310     $sSQL .= 'ALTER TABLE placex ENABLE TRIGGER ALL;';
 311     $oDB->exec($sSQL);
 312 }
 313
 314 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 315     //
 316     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 317         fail('Error: Update interval too low for download.geofabrik.de. ' .
 318              "Please check install documentation (https://nominatim.org/release-docs/latest/admin/Import-and-Update#setting-up-the-update-process)\n");
 319     }
 320
 321     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 322
 323     $oCMDDownload = (new \Nominatim\Shell(CONST_Pyosmium_Binary))
 324                     ->addParams('--server', CONST_Replication_Url)
 325                     ->addParams('--outfile', $sImportFile)
 326                     ->addParams('--size', CONST_Replication_Max_Diff_size);
 327
 328     $oCMDImport = (clone $oOsm2pgsqlCmd)->addParams($sImportFile);
 329
 330     while (true) {
 331         $fStartTime = time();
 332         $aLastState = $oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status');
 333
 334         if (!$aLastState['sequence_id']) {
 335             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 336             exit(1);
 337         }
 338
 339         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 340
 341         $sBatchEnd = $aLastState['lastimportdate'];
 342         $iEndSequence = $aLastState['sequence_id'];
 343
 344         if ($aLastState['indexed']) {
 345             // Sleep if the update interval has not yet been reached.
 346             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 347             if ($fNextUpdate > $fStartTime) {
 348                 $iSleepTime = $fNextUpdate - $fStartTime;
 349                 echo "Waiting for next update for $iSleepTime sec.";
 350                 sleep($iSleepTime);
 351             }
 352
 353             // Download the next batch of changes.
 354             do {
 355                 $fCMDStartTime = time();
 356                 $iNextSeq = (int) $aLastState['sequence_id'];
 357                 unset($aOutput);
 358
 359                 $oCMD = (clone $oCMDDownload)->addParams('--start-id', $iNextSeq);
 360                 echo $oCMD->escapedCmd()."\n";
 361                 if (file_exists($sImportFile)) {
 362                     unlink($sImportFile);
 363                 }
 364                 exec($oCMD->escapedCmd(), $aOutput, $iResult);
 365
 366                 if ($iResult == 3) {
 367                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 368                     sleep(CONST_Replication_Recheck_Interval);
 369                 } elseif ($iResult != 0) {
 370                     echo 'ERROR: updates failed.';
 371                     exit($iResult);
 372                 } else {
 373                     $iEndSequence = (int)$aOutput[0];
 374                 }
 375             } while ($iResult);
 376
 377             // get the newest object from the diff file
 378             $sBatchEnd = 0;
 379             $iRet = 0;
 380             $oCMD = new \Nominatim\Shell(CONST_BasePath.'/utils/osm_file_date.py', $sImportFile);
 381             exec($oCMD->escapedCmd(), $sBatchEnd, $iRet);
 382             if ($iRet == 5) {
 383                 echo "Diff file is empty. skipping import.\n";
 384                 if (!$aResult['import-osmosis-all']) {
 385                     exit(0);
 386                 } else {
 387                     continue;
 388                 }
 389             }
 390             if ($iRet != 0) {
 391                 fail('Error getting date from diff file.');
 392             }
 393             $sBatchEnd = $sBatchEnd[0];
 394
 395             // Import the file
 396             $fCMDStartTime = time();
 397
 398
 399             echo $oCMDImport->escapedCmd()."\n";
 400             unset($sJunk);
 401             $iErrorLevel = $oCMDImport->run();
 402             if ($iErrorLevel) {
 403                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 404                 exit($iErrorLevel);
 405             }
 406
 407             // write the update logs
 408             $iFileSize = filesize($sImportFile);
 409             $sSQL = 'INSERT INTO import_osmosis_log';
 410             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 411             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 412             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 413             $sSQL .= date('Y-m-d H:i:s')."','import')";
 414             var_Dump($sSQL);
 415             $oDB->exec($sSQL);
 416
 417             // update the status
 418             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 419             var_Dump($sSQL);
 420             $oDB->exec($sSQL);
 421             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 422         }
 423
 424         // Index file
 425         if (!$aResult['no-index']) {
 426             $fCMDStartTime = time();
 427
 428             $oThisIndexCmd = clone($oIndexCmd);
 429             $oThisIndexCmd->addParams('-b');
 430             echo $oThisIndexCmd->escapedCmd()."\n";
 431             $iErrorLevel = $oThisIndexCmd->run();
 432             if ($iErrorLevel) {
 433                 echo "Error: $iErrorLevel\n";
 434                 exit($iErrorLevel);
 435             }
 436
 437             $oThisIndexCmd = clone($oIndexCmd);
 438             echo $oThisIndexCmd->escapedCmd()."\n";
 439             $iErrorLevel = $oThisIndexCmd->run();
 440             if ($iErrorLevel) {
 441                 echo "Error: $iErrorLevel\n";
 442                 exit($iErrorLevel);
 443             }
 444
 445             $sSQL = 'INSERT INTO import_osmosis_log';
 446             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 447             $sSQL .= " values ('$sBatchEnd',$iEndSequence,NULL,'";
 448             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 449             $sSQL .= date('Y-m-d H:i:s')."','index')";
 450             var_Dump($sSQL);
 451             $oDB->exec($sSQL);
 452             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 453
 454             $sSQL = 'update import_status set indexed = true';
 455             $oDB->exec($sSQL);
 456         } else {
 457             if ($aResult['import-osmosis-all']) {
 458                 echo "Error: --no-index cannot be used with continuous imports (--import-osmosis-all).\n";
 459                 exit(1);
 460             }
 461         }
 462
 463         $fDuration = time() - $fStartTime;
 464         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 465         if (!$aResult['import-osmosis-all']) exit(0);
 466     }
 467 }