utils/update.php

   1 <?php
   2
   3 require_once(CONST_BasePath.'/lib/init-cmd.php');
   4 require_once(CONST_BasePath.'/lib/setup_functions.php');
   5 require_once(CONST_BasePath.'/lib/setup/SetupClass.php');
   6 require_once(CONST_BasePath.'/lib/setup/AddressLevelParser.php');
   7
   8 ini_set('memory_limit', '800M');
   9
  10 use Nominatim\Setup\SetupFunctions as SetupFunctions;
  11
  12 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
  13 $aCMDOptions
  14 = array(
  15    'Import / update / index osm data',
  16    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  17    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  18    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  19
  20    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  21    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
  22    array('no-update-functions', '', 0, 1, 0, 0, 'bool', 'Do not update trigger functions to support differential updates (assuming the diff update logic is already present)'),
  23    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  24    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  25    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  26
  27    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  28
  29    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  30    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  31    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  32
  33    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  34    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  35    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  36    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  37
  38    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  39    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  40    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  41
  42    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  43    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
  44    array('update-address-levels', '', 0, 1, 0, 0, 'bool', 'Reimport address level configuration (EXPERT)'),
  45    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolete)'),
  46   );
  47
  48 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  49
  50 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  51
  52 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  53
  54 date_default_timezone_set('Etc/UTC');
  55
  56 $oDB =& getDB();
  57
  58 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  59 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  60
  61 // cache memory to be used by osm2pgsql, should not be more than the available memory
  62 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  63 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  64     $iCacheMemory = getCacheMemoryMB();
  65     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  66 }
  67 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -S '.CONST_Import_Style.' -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  68 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
  69     $sOsm2pgsqlCmd .= ' -U ' . $aDSNInfo['username'];
  70 }
  71 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
  72     $sOsm2pgsqlCmd .= ' -H ' . $aDSNInfo['hostspec'];
  73 }
  74 $aProcEnv = null;
  75 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
  76     $aProcEnv = array_merge(array('PGPASSWORD' => $aDSNInfo['password']), $_ENV);
  77 }
  78
  79 if (!is_null(CONST_Osm2pgsql_Flatnode_File) && CONST_Osm2pgsql_Flatnode_File) {
  80     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  81 }
  82
  83 if ($aResult['init-updates']) {
  84     // sanity check that the replication URL is correct
  85     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
  86     if ($sBaseState === false) {
  87         echo "\nCannot find state.txt file at the configured replication URL.\n";
  88         echo "Does the URL point to a directory containing OSM update data?\n\n";
  89         fail('replication URL not reachable.');
  90     }
  91     // sanity check for pyosmium-get-changes
  92     if (!CONST_Pyosmium_Binary) {
  93         echo "\nCONST_Pyosmium_Binary not configured.\n";
  94         echo "You need to install pyosmium and set up the path to pyosmium-get-changes\n";
  95         echo "in your local settings file.\n\n";
  96         fail('CONST_Pyosmium_Binary not configured');
  97     }
  98     $aOutput = 0;
  99     $sCmd = CONST_Pyosmium_Binary.' --help';
 100     exec($sCmd, $aOutput, $iRet);
 101     if ($iRet != 0) {
 102         echo "Cannot execute pyosmium-get-changes.\n";
 103         echo "Make sure you have pyosmium installed correctly\n";
 104         echo "and have set up CONST_Pyosmium_Binary to point to pyosmium-get-changes.\n";
 105         fail('pyosmium-get-changes not found or not usable');
 106     }
 107
 108     if (!$aResult['no-update-functions']) {
 109         // instantiate setupClass to use the function therein
 110         $cSetup = new SetupFunctions(array(
 111                                       'enable-diff-updates' => true,
 112                                       'verbose' => $aResult['verbose']
 113                                      ));
 114         $cSetup->connect();
 115         $cSetup->createFunctions();
 116     }
 117
 118     $sDatabaseDate = getDatabaseDate($oDB);
 119     if ($sDatabaseDate === false) {
 120         fail('Cannot determine date of database.');
 121     }
 122     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
 123
 124     // get the appropriate state id
 125     $aOutput = 0;
 126     $sCmd = CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url;
 127     exec($sCmd, $aOutput, $iRet);
 128     if ($iRet != 0 || $aOutput[0] == 'None') {
 129         fail('Error running pyosmium tools');
 130     }
 131
 132     pg_query($oDB->connection, 'TRUNCATE import_status');
 133     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
 134     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
 135     if (!pg_query($oDB->connection, $sSQL)) {
 136         fail('Could not enter sequence into database.');
 137     }
 138
 139     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 140 }
 141
 142 if ($aResult['check-for-updates']) {
 143     $aLastState = chksql($oDB->getRow('SELECT sequence_id FROM import_status'));
 144
 145     if (!$aLastState['sequence_id']) {
 146         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
 147     }
 148
 149     system(CONST_BasePath.'/utils/check_server_for_updates.py '.CONST_Replication_Url.' '.$aLastState['sequence_id'], $iRet);
 150     exit($iRet);
 151 }
 152
 153 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 154     // import diffs and files directly (e.g. from osmosis --rri)
 155     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 156
 157     if (!file_exists($sNextFile)) {
 158         fail("Cannot open $sNextFile\n");
 159     }
 160
 161     // Import the file
 162     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 163     echo $sCMD."\n";
 164     $iErrorLevel = runWithEnv($sCMD, $aProcEnv);
 165
 166     if ($iErrorLevel) {
 167         fail("Error from osm2pgsql, $iErrorLevel\n");
 168     }
 169
 170     // Don't update the import status - we don't know what this file contains
 171 }
 172
 173 if ($aResult['calculate-postcodes']) {
 174     info('Update postcodes centroids');
 175     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 176     runSQLScript($sTemplate, true, true);
 177 }
 178
 179 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 180 $bHaveDiff = false;
 181 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 182 $sContentURL = '';
 183 if (isset($aResult['import-node']) && $aResult['import-node']) {
 184     if ($bUseOSMApi) {
 185         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 186     } else {
 187         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 188     }
 189 }
 190
 191 if (isset($aResult['import-way']) && $aResult['import-way']) {
 192     if ($bUseOSMApi) {
 193         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 194     } else {
 195         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 196     }
 197 }
 198
 199 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 200     if ($bUseOSMApi) {
 201         $sContentURLsModifyXMLstr = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 202     } else {
 203         $sContentURL = 'https://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 204     }
 205 }
 206
 207 if ($sContentURL) {
 208     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 209     $bHaveDiff = true;
 210 }
 211
 212 if ($bHaveDiff) {
 213     // import generated change file
 214     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 215     echo $sCMD."\n";
 216     $iErrorLevel = runWithEnv($sCMD, $aProcEnv);
 217     if ($iErrorLevel) {
 218         fail("osm2pgsql exited with error level $iErrorLevel\n");
 219     }
 220 }
 221
 222 if ($aResult['deduplicate']) {
 223     $oDB =& getDB();
 224
 225     if (getPostgresVersion($oDB) < 9.3) {
 226         fail('ERROR: deduplicate is only currently supported in postgresql 9.3');
 227     }
 228
 229     $sSQL = 'select partition from country_name order by country_code';
 230     $aPartitions = chksql($oDB->getCol($sSQL));
 231     $aPartitions[] = 0;
 232
 233     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 234     foreach ($aPartitions as $i => $sPartition) {
 235         $sSQL = 'select count(*) from search_name_'.$sPartition;
 236         $nEntries = chksql($oDB->getOne($sSQL));
 237         if ($nEntries == 0) {
 238             unset($aPartitions[$i]);
 239         }
 240     }
 241
 242     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 243     $sSQL .= ' and class is null and type is null and country_code is null';
 244     $sSQL .= ' group by word_token having count(*) > 1 order by word_token';
 245     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 246     foreach ($aDuplicateTokens as $aToken) {
 247         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 248         echo 'Deduping '.$aToken['word_token']."\n";
 249         $sSQL = 'select word_id,';
 250         $sSQL .= ' (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num';
 251         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 252         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 253         $aTokenSet = chksql($oDB->getAll($sSQL));
 254
 255         $aKeep = array_shift($aTokenSet);
 256         $iKeepID = $aKeep['word_id'];
 257
 258         foreach ($aTokenSet as $aRemove) {
 259             $sSQL = 'update search_name set';
 260             $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.'),';
 261             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 262             $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 263             chksql($oDB->query($sSQL));
 264
 265             $sSQL = 'update search_name set';
 266             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 267             $sSQL .= ' where nameaddress_vector @> ARRAY['.$aRemove['word_id'].']';
 268             chksql($oDB->query($sSQL));
 269
 270             $sSQL = 'update location_area_country set';
 271             $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 272             $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 273             chksql($oDB->query($sSQL));
 274
 275             foreach ($aPartitions as $sPartition) {
 276                 $sSQL = 'update search_name_'.$sPartition.' set';
 277                 $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 278                 $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 279                 chksql($oDB->query($sSQL));
 280
 281                 $sSQL = 'update location_area_country set';
 282                 $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 283                 $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 284                 chksql($oDB->query($sSQL));
 285             }
 286
 287             $sSQL = 'delete from word where word_id = '.$aRemove['word_id'];
 288             chksql($oDB->query($sSQL));
 289         }
 290     }
 291 }
 292
 293 if ($aResult['recompute-word-counts']) {
 294     info('Recompute frequency of full-word search terms');
 295     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
 296     runSQLScript($sTemplate, true, true);
 297 }
 298
 299 if ($aResult['index']) {
 300     $sCmd = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank'];
 301     if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 302         $sCmd .= ' -H ' . $aDSNInfo['hostspec'];
 303     }
 304     if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 305         $sCmd .= ' -U ' . $aDSNInfo['username'];
 306     }
 307
 308     runWithEnv($sCmd, $aProcEnv);
 309 }
 310
 311 if ($aResult['update-address-levels']) {
 312     echo 'Updating address levels from '.CONST_Address_Level_Config.".\n";
 313     $oAlParser = new \Nominatim\Setup\AddressLevelParser(CONST_Address_Level_Config);
 314     $oAlParser->createTable($oDB, 'address_levels');
 315 }
 316
 317 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 318     //
 319     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 320         fail('Error: Update interval too low for download.geofabrik.de. ' .
 321              "Please check install documentation (http://nominatim.org/release-docs/latest/Import-and-Update#setting-up-the-update-process)\n");
 322     }
 323
 324     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 325     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 326     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 327     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 328     if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 329         $sCMDIndex .= ' -H ' . $aDSNInfo['hostspec'];
 330     }
 331     if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 332         $sCMDIndex .= ' -U ' . $aDSNInfo['username'];
 333     }
 334
 335     while (true) {
 336         $fStartTime = time();
 337         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
 338
 339         if (!$aLastState['sequence_id']) {
 340             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 341             exit(1);
 342         }
 343
 344         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 345
 346         $sBatchEnd = $aLastState['lastimportdate'];
 347         $iEndSequence = $aLastState['sequence_id'];
 348
 349         if ($aLastState['indexed'] == 't') {
 350             // Sleep if the update interval has not yet been reached.
 351             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 352             if ($fNextUpdate > $fStartTime) {
 353                 $iSleepTime = $fNextUpdate - $fStartTime;
 354                 echo "Waiting for next update for $iSleepTime sec.";
 355                 sleep($iSleepTime);
 356             }
 357
 358             // Download the next batch of changes.
 359             do {
 360                 $fCMDStartTime = time();
 361                 $iNextSeq = (int) $aLastState['sequence_id'];
 362                 unset($aOutput);
 363                 echo "$sCMDDownload -I $iNextSeq\n";
 364                 if (file_exists($sImportFile)) {
 365                     unlink($sImportFile);
 366                 }
 367                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 368
 369                 if ($iResult == 3) {
 370                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 371                     sleep(CONST_Replication_Recheck_Interval);
 372                 } elseif ($iResult != 0) {
 373                     echo 'ERROR: updates failed.';
 374                     exit($iResult);
 375                 } else {
 376                     $iEndSequence = (int)$aOutput[0];
 377                 }
 378             } while ($iResult);
 379
 380             // get the newest object from the diff file
 381             $sBatchEnd = 0;
 382             $iRet = 0;
 383             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 384             if ($iRet == 5) {
 385                 echo "Diff file is empty. skipping import.\n";
 386                 if (!$aResult['import-osmosis-all']) {
 387                     exit(0);
 388                 } else {
 389                     continue;
 390                 }
 391             }
 392             if ($iRet != 0) {
 393                 fail('Error getting date from diff file.');
 394             }
 395             $sBatchEnd = $sBatchEnd[0];
 396
 397             // Import the file
 398             $fCMDStartTime = time();
 399             echo $sCMDImport."\n";
 400             unset($sJunk);
 401             $iErrorLevel = runWithEnv($sCMDImport, $aProcEnv);
 402             if ($iErrorLevel) {
 403                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 404                 exit($iErrorLevel);
 405             }
 406
 407             // write the update logs
 408             $iFileSize = filesize($sImportFile);
 409             $sSQL = 'INSERT INTO import_osmosis_log';
 410             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 411             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 412             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 413             $sSQL .= date('Y-m-d H:i:s')."','import')";
 414             var_Dump($sSQL);
 415             chksql($oDB->query($sSQL));
 416
 417             // update the status
 418             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 419             var_Dump($sSQL);
 420             chksql($oDB->query($sSQL));
 421             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 422         }
 423
 424         // Index file
 425         if (!$aResult['no-index']) {
 426             $sThisIndexCmd = $sCMDIndex;
 427             $fCMDStartTime = time();
 428
 429             echo "$sThisIndexCmd\n";
 430             $iErrorLevel = runWithEnv($sThisIndexCmd, $aProcEnv);
 431             if ($iErrorLevel) {
 432                 echo "Error: $iErrorLevel\n";
 433                 exit($iErrorLevel);
 434             }
 435
 436             $sSQL = 'INSERT INTO import_osmosis_log';
 437             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 438             $sSQL .= " values ('$sBatchEnd',$iEndSequence,NULL,'";
 439             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 440             $sSQL .= date('Y-m-d H:i:s')."','index')";
 441             var_Dump($sSQL);
 442             $oDB->query($sSQL);
 443             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 444
 445             $sSQL = 'update import_status set indexed = true';
 446             $oDB->query($sSQL);
 447         }
 448
 449         $fDuration = time() - $fStartTime;
 450         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 451         if (!$aResult['import-osmosis-all']) exit(0);
 452     }
 453 }