utils/update.php

   1 <?php
   2
   3 require_once(CONST_LibDir.'/init-cmd.php');
   4 require_once(CONST_LibDir.'/setup_functions.php');
   5 require_once(CONST_LibDir.'/setup/SetupClass.php');
   6 require_once(CONST_LibDir.'/setup/AddressLevelParser.php');
   7
   8 ini_set('memory_limit', '800M');
   9
  10 use Nominatim\Setup\SetupFunctions as SetupFunctions;
  11
  12 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
  13 $aCMDOptions
  14 = array(
  15    'Import / update / index osm data',
  16    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  17    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  18    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  19
  20    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  21    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
  22    array('no-update-functions', '', 0, 1, 0, 0, 'bool', 'Do not update trigger functions to support differential updates (assuming the diff update logic is already present)'),
  23    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  24    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  25    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  26
  27    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  28
  29    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  30    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  31    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  32
  33    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  34    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  35    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  36    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  37
  38    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  39    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  40    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  41
  42    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
  43    array('update-address-levels', '', 0, 1, 0, 0, 'bool', 'Reimport address level configuration (EXPERT)'),
  44    array('recompute-importance', '', 0, 1, 0, 0, 'bool', 'Recompute place importances'),
  45
  46    array('project-dir', '', 0, 1, 1, 1, 'realpath', 'Base directory of the Nominatim installation (default: .)'),
  47   );
  48
  49 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  50
  51 loadSettings($aCMDResult['project-dir'] ?? getcwd());
  52 setupHTTPProxy();
  53
  54 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  55
  56 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  57
  58 date_default_timezone_set('Etc/UTC');
  59
  60 $oDB = new Nominatim\DB();
  61 $oDB->connect();
  62 $fPostgresVersion = $oDB->getPostgresVersion();
  63
  64 $aDSNInfo = Nominatim\DB::parseDSN(getSetting('DATABASE_DSN'));
  65 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  66
  67 // cache memory to be used by osm2pgsql, should not be more than the available memory
  68 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  69 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  70     $iCacheMemory = getCacheMemoryMB();
  71     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  72 }
  73
  74 $oOsm2pgsqlCmd = (new \Nominatim\Shell(getOsm2pgsqlBinary()))
  75                  ->addParams('--hstore')
  76                  ->addParams('--latlong')
  77                  ->addParams('--append')
  78                  ->addParams('--slim')
  79                  ->addParams('--with-forward-dependencies', 'false')
  80                  ->addParams('--log-progress', 'true')
  81                  ->addParams('--number-processes', 1)
  82                  ->addParams('--cache', $iCacheMemory)
  83                  ->addParams('--output', 'gazetteer')
  84                  ->addParams('--style', getImportStyle())
  85                  ->addParams('--database', $aDSNInfo['database'])
  86                  ->addParams('--port', $aDSNInfo['port']);
  87
  88 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
  89     $oOsm2pgsqlCmd->addParams('--host', $aDSNInfo['hostspec']);
  90 }
  91 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
  92     $oOsm2pgsqlCmd->addParams('--user', $aDSNInfo['username']);
  93 }
  94 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
  95     $oOsm2pgsqlCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
  96 }
  97 if (getSetting('FLATNODE_FILE')) {
  98     $oOsm2pgsqlCmd->addParams('--flat-nodes', getSetting('FLATNODE_FILE'));
  99 }
 100 if ($fPostgresVersion >= 11.0) {
 101     $oOsm2pgsqlCmd->addEnvPair(
 102         'PGOPTIONS',
 103         '-c jit=off -c max_parallel_workers_per_gather=0'
 104     );
 105 }
 106
 107
 108 $oIndexCmd = (new \Nominatim\Shell(CONST_DataDir.'/nominatim/nominatim.py'))
 109              ->addParams('--database', $aDSNInfo['database'])
 110              ->addParams('--port', $aDSNInfo['port'])
 111              ->addParams('--threads', $aResult['index-instances']);
 112 if (!$aResult['quiet']) {
 113     $oIndexCmd->addParams('--verbose');
 114 }
 115 if ($aResult['verbose']) {
 116     $oIndexCmd->addParams('--verbose');
 117 }
 118 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 119     $oIndexCmd->addParams('--host', $aDSNInfo['hostspec']);
 120 }
 121 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 122     $oIndexCmd->addParams('--username', $aDSNInfo['username']);
 123 }
 124 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
 125     $oIndexCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
 126 }
 127
 128 $sPyosmiumBin = getSetting('PYOSMIUM_BINARY');
 129 $sBaseURL = getSetting('REPLICATION_URL');
 130
 131
 132 if ($aResult['init-updates']) {
 133     // sanity check that the replication URL is correct
 134     $sBaseState = file_get_contents($sBaseURL.'/state.txt');
 135     if ($sBaseState === false) {
 136         echo "\nCannot find state.txt file at the configured replication URL.\n";
 137         echo "Does the URL point to a directory containing OSM update data?\n\n";
 138         fail('replication URL not reachable.');
 139     }
 140     // sanity check for pyosmium-get-changes
 141     if (!$sPyosmiumBin) {
 142         echo "\nNOMINATIM_PYOSMIUM_BINARY not configured.\n";
 143         echo "You need to install pyosmium and set up the path to pyosmium-get-changes\n";
 144         echo "in your local .env file.\n\n";
 145         fail('NOMINATIM_PYOSMIUM_BINARY not configured');
 146     }
 147
 148     $aOutput = 0;
 149     $oCMD = new \Nominatim\Shell($sPyosmiumBin, '--help');
 150     exec($oCMD->escapedCmd(), $aOutput, $iRet);
 151
 152     if ($iRet != 0) {
 153         echo "Cannot execute pyosmium-get-changes.\n";
 154         echo "Make sure you have pyosmium installed correctly\n";
 155         echo "and have set up NOMINATIM_PYOSMIUM_BINARY to point to pyosmium-get-changes.\n";
 156         fail('pyosmium-get-changes not found or not usable');
 157     }
 158
 159     if (!$aResult['no-update-functions']) {
 160         // instantiate setupClass to use the function therein
 161         $cSetup = new SetupFunctions(array(
 162                                       'enable-diff-updates' => true,
 163                                       'verbose' => $aResult['verbose']
 164                                      ));
 165         $cSetup->createFunctions();
 166     }
 167
 168     $sDatabaseDate = getDatabaseDate($oDB);
 169     if (!$sDatabaseDate) {
 170         fail('Cannot determine date of database.');
 171     }
 172     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
 173
 174     // get the appropriate state id
 175     $aOutput = 0;
 176     $oCMD = (new \Nominatim\Shell($sPyosmiumBin))
 177             ->addParams('--start-date', $sWindBack)
 178             ->addParams('--server', $sBaseURL);
 179
 180     exec($oCMD->escapedCmd(), $aOutput, $iRet);
 181     if ($iRet != 0 || $aOutput[0] == 'None') {
 182         fail('Error running pyosmium tools');
 183     }
 184
 185     $oDB->exec('TRUNCATE import_status');
 186     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
 187     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
 188
 189     try {
 190         $oDB->exec($sSQL);
 191     } catch (\Nominatim\DatabaseError $e) {
 192         fail('Could not enter sequence into database.');
 193     }
 194
 195     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 196 }
 197
 198 if ($aResult['check-for-updates']) {
 199     $aLastState = $oDB->getRow('SELECT sequence_id FROM import_status');
 200
 201     if (!$aLastState['sequence_id']) {
 202         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
 203     }
 204
 205     $oCmd = (new \Nominatim\Shell(CONST_BinDir.'/check_server_for_updates.py'))
 206             ->addParams($sBaseURL)
 207             ->addParams($aLastState['sequence_id']);
 208     $iRet = $oCmd->run();
 209
 210     exit($iRet);
 211 }
 212
 213 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 214     // import diffs and files directly (e.g. from osmosis --rri)
 215     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 216
 217     if (!file_exists($sNextFile)) {
 218         fail("Cannot open $sNextFile\n");
 219     }
 220
 221     // Import the file
 222     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sNextFile);
 223     echo $oCMD->escapedCmd()."\n";
 224     $iRet = $oCMD->run();
 225
 226     if ($iRet) {
 227         fail("Error from osm2pgsql, $iRet\n");
 228     }
 229
 230     // Don't update the import status - we don't know what this file contains
 231 }
 232
 233 if ($aResult['calculate-postcodes']) {
 234     info('Update postcodes centroids');
 235     $sTemplate = file_get_contents(CONST_DataDir.'/sql/update-postcodes.sql');
 236     runSQLScript($sTemplate, true, true);
 237 }
 238
 239 $sTemporaryFile = CONST_InstallDir.'/osmosischange.osc';
 240 $bHaveDiff = false;
 241 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 242 $sContentURL = '';
 243 if (isset($aResult['import-node']) && $aResult['import-node']) {
 244     if ($bUseOSMApi) {
 245         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 246     } else {
 247         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 248     }
 249 }
 250
 251 if (isset($aResult['import-way']) && $aResult['import-way']) {
 252     if ($bUseOSMApi) {
 253         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 254     } else {
 255         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');%3E;);out%20meta;';
 256     }
 257 }
 258
 259 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 260     if ($bUseOSMApi) {
 261         $sContentURL = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 262     } else {
 263         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(rel(id:'.$aResult['import-relation'].');%3E;);out%20meta;';
 264     }
 265 }
 266
 267 if ($sContentURL) {
 268     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 269     $bHaveDiff = true;
 270 }
 271
 272 if ($bHaveDiff) {
 273     // import generated change file
 274
 275     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sTemporaryFile);
 276     echo $oCMD->escapedCmd()."\n";
 277
 278     $iRet = $oCMD->run();
 279     if ($iRet) {
 280         fail("osm2pgsql exited with error level $iRet\n");
 281     }
 282 }
 283
 284 if ($aResult['recompute-word-counts']) {
 285     info('Recompute frequency of full-word search terms');
 286     $sTemplate = file_get_contents(CONST_DataDir.'/sql/words_from_search_name.sql');
 287     runSQLScript($sTemplate, true, true);
 288 }
 289
 290 if ($aResult['index']) {
 291     $oCmd = (clone $oIndexCmd)
 292             ->addParams('--minrank', $aResult['index-rank'], '-b');
 293     $oCmd->run();
 294
 295     $oCmd = (clone $oIndexCmd)
 296             ->addParams('--minrank', $aResult['index-rank']);
 297     $oCmd->run();
 298
 299     $oDB->exec('update import_status set indexed = true');
 300 }
 301
 302 if ($aResult['update-address-levels']) {
 303     $sAddressLevelConfig = getSettingConfig('ADDRESS_LEVEL_CONFIG', 'address-levels.json');
 304     echo 'Updating address levels from '.$sAddressLevelConfig.".\n";
 305     $oAlParser = new \Nominatim\Setup\AddressLevelParser($sAddressLevelConfig);
 306     $oAlParser->createTable($oDB, 'address_levels');
 307 }
 308
 309 if ($aResult['recompute-importance']) {
 310     echo "Updating importance values for database.\n";
 311     $oDB = new Nominatim\DB();
 312     $oDB->connect();
 313
 314     $sSQL = 'ALTER TABLE placex DISABLE TRIGGER ALL;';
 315     $sSQL .= 'UPDATE placex SET (wikipedia, importance) =';
 316     $sSQL .= '   (SELECT wikipedia, importance';
 317     $sSQL .= '    FROM compute_importance(extratags, country_code, osm_type, osm_id));';
 318     $sSQL .= 'UPDATE placex s SET wikipedia = d.wikipedia, importance = d.importance';
 319     $sSQL .= ' FROM placex d';
 320     $sSQL .= ' WHERE s.place_id = d.linked_place_id and d.wikipedia is not null';
 321     $sSQL .= '       and (s.wikipedia is null or s.importance < d.importance);';
 322     $sSQL .= 'ALTER TABLE placex ENABLE TRIGGER ALL;';
 323     $oDB->exec($sSQL);
 324 }
 325
 326 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 327     //
 328     if (strpos($sBaseURL, 'download.geofabrik.de') !== false && getSetting('REPLICATION_UPDATE_INTERVAL') < 86400) {
 329         fail('Error: Update interval too low for download.geofabrik.de. ' .
 330              "Please check install documentation (https://nominatim.org/release-docs/latest/admin/Import-and-Update#setting-up-the-update-process)\n");
 331     }
 332
 333     $sImportFile = CONST_InstallDir.'/osmosischange.osc';
 334
 335     $oCMDDownload = (new \Nominatim\Shell($sPyosmiumBin))
 336                     ->addParams('--server', $sBaseURL)
 337                     ->addParams('--outfile', $sImportFile)
 338                     ->addParams('--size', getSetting('REPLICATION_MAX_DIFF'));
 339
 340     $oCMDImport = (clone $oOsm2pgsqlCmd)->addParams($sImportFile);
 341
 342     while (true) {
 343         $fStartTime = time();
 344         $aLastState = $oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status');
 345
 346         if (!$aLastState['sequence_id']) {
 347             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 348             exit(1);
 349         }
 350
 351         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 352
 353         $sBatchEnd = $aLastState['lastimportdate'];
 354         $iEndSequence = $aLastState['sequence_id'];
 355
 356         if ($aLastState['indexed']) {
 357             // Sleep if the update interval has not yet been reached.
 358             $fNextUpdate = $aLastState['unix_ts'] + getSetting('REPLICATION_UPDATE_INTERVAL');
 359             if ($fNextUpdate > $fStartTime) {
 360                 $iSleepTime = $fNextUpdate - $fStartTime;
 361                 echo "Waiting for next update for $iSleepTime sec.";
 362                 sleep($iSleepTime);
 363             }
 364
 365             // Download the next batch of changes.
 366             do {
 367                 $fCMDStartTime = time();
 368                 $iNextSeq = (int) $aLastState['sequence_id'];
 369                 unset($aOutput);
 370
 371                 $oCMD = (clone $oCMDDownload)->addParams('--start-id', $iNextSeq);
 372                 echo $oCMD->escapedCmd()."\n";
 373                 if (file_exists($sImportFile)) {
 374                     unlink($sImportFile);
 375                 }
 376                 exec($oCMD->escapedCmd(), $aOutput, $iResult);
 377
 378                 if ($iResult == 3) {
 379                     $sSleep = getSetting('REPLICATION_RECHECK_INTERVAL');
 380                     echo 'No new updates. Sleeping for '.$sSleep." sec.\n";
 381                     sleep($sSleep);
 382                 } elseif ($iResult != 0) {
 383                     echo 'ERROR: updates failed.';
 384                     exit($iResult);
 385                 } else {
 386                     $iEndSequence = (int)$aOutput[0];
 387                 }
 388             } while ($iResult);
 389
 390             // get the newest object from the diff file
 391             $sBatchEnd = 0;
 392             $iRet = 0;
 393             $oCMD = new \Nominatim\Shell(CONST_BinDir.'/osm_file_date.py', $sImportFile);
 394             exec($oCMD->escapedCmd(), $sBatchEnd, $iRet);
 395             if ($iRet == 5) {
 396                 echo "Diff file is empty. skipping import.\n";
 397                 if (!$aResult['import-osmosis-all']) {
 398                     exit(0);
 399                 } else {
 400                     continue;
 401                 }
 402             }
 403             if ($iRet != 0) {
 404                 fail('Error getting date from diff file.');
 405             }
 406             $sBatchEnd = $sBatchEnd[0];
 407
 408             // Import the file
 409             $fCMDStartTime = time();
 410
 411
 412             echo $oCMDImport->escapedCmd()."\n";
 413             unset($sJunk);
 414             $iErrorLevel = $oCMDImport->run();
 415             if ($iErrorLevel) {
 416                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 417                 exit($iErrorLevel);
 418             }
 419
 420             // write the update logs
 421             $iFileSize = filesize($sImportFile);
 422             $sSQL = 'INSERT INTO import_osmosis_log';
 423             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 424             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 425             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 426             $sSQL .= date('Y-m-d H:i:s')."','import')";
 427             var_Dump($sSQL);
 428             $oDB->exec($sSQL);
 429
 430             // update the status
 431             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 432             var_Dump($sSQL);
 433             $oDB->exec($sSQL);
 434             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 435         }
 436
 437         // Index file
 438         if (!$aResult['no-index']) {
 439             $fCMDStartTime = time();
 440
 441             $oThisIndexCmd = clone($oIndexCmd);
 442             $oThisIndexCmd->addParams('-b');
 443             echo $oThisIndexCmd->escapedCmd()."\n";
 444             $iErrorLevel = $oThisIndexCmd->run();
 445             if ($iErrorLevel) {
 446                 echo "Error: $iErrorLevel\n";
 447                 exit($iErrorLevel);
 448             }
 449
 450             $oThisIndexCmd = clone($oIndexCmd);
 451             echo $oThisIndexCmd->escapedCmd()."\n";
 452             $iErrorLevel = $oThisIndexCmd->run();
 453             if ($iErrorLevel) {
 454                 echo "Error: $iErrorLevel\n";
 455                 exit($iErrorLevel);
 456             }
 457
 458             $sSQL = 'INSERT INTO import_osmosis_log';
 459             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 460             $sSQL .= " values ('$sBatchEnd',$iEndSequence,NULL,'";
 461             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 462             $sSQL .= date('Y-m-d H:i:s')."','index')";
 463             var_Dump($sSQL);
 464             $oDB->exec($sSQL);
 465             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 466
 467             $sSQL = 'update import_status set indexed = true';
 468             $oDB->exec($sSQL);
 469         } else {
 470             if ($aResult['import-osmosis-all']) {
 471                 echo "Error: --no-index cannot be used with continuous imports (--import-osmosis-all).\n";
 472                 exit(1);
 473             }
 474         }
 475
 476         $fDuration = time() - $fStartTime;
 477         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 478         if (!$aResult['import-osmosis-all']) exit(0);
 479     }
 480 }