utils/update.php

   1 #!@PHP_BIN@ -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 require_once(CONST_BasePath.'/lib/setup_functions.php');
   7 require_once(CONST_BasePath.'/lib/setup/SetupClass.php');
   8 require_once(CONST_BasePath.'/lib/setup/AddressLevelParser.php');
   9
  10 ini_set('memory_limit', '800M');
  11
  12 use Nominatim\Setup\SetupFunctions as SetupFunctions;
  13
  14 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
  15 $aCMDOptions
  16 = array(
  17    'Import / update / index osm data',
  18    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  19    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  20    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  21
  22    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  23    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
  24    array('no-update-functions', '', 0, 1, 0, 0, 'bool', 'Do not update trigger functions to support differential updates (assuming the diff update logic is already present)'),
  25    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  26    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  27    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  28
  29    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  30
  31    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  32    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  33    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  34
  35    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  36    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  37    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  38    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  39
  40    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  41    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  42    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  43
  44    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  45    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
  46    array('update-address-levels', '', 0, 1, 0, 0, 'bool', 'Reimport address level configuration (EXPERT)'),
  47    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolete)'),
  48   );
  49
  50 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  51
  52 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  53 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  54
  55 date_default_timezone_set('Etc/UTC');
  56
  57 $oDB =& getDB();
  58
  59 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  60 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  61
  62 // cache memory to be used by osm2pgsql, should not be more than the available memory
  63 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  64 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  65     $iCacheMemory = getCacheMemoryMB();
  66     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  67 }
  68 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  69 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
  70     $sOsm2pgsqlCmd .= ' -U ' . $aDSNInfo['username'];
  71 }
  72 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
  73     $sOsm2pgsqlCmd .= ' -H ' . $aDSNInfo['hostspec'];
  74 }
  75 $aProcEnv = null;
  76 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
  77     $aProcEnv = array_merge(array('PGPASSWORD' => $aDSNInfo['password']), $_ENV);
  78 }
  79
  80 if (!is_null(CONST_Osm2pgsql_Flatnode_File) && CONST_Osm2pgsql_Flatnode_File) {
  81     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  82 }
  83
  84 if ($aResult['init-updates']) {
  85     // sanity check that the replication URL is correct
  86     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
  87     if ($sBaseState === false) {
  88         echo "\nCannot find state.txt file at the configured replication URL.\n";
  89         echo "Does the URL point to a directory containing OSM update data?\n\n";
  90         fail('replication URL not reachable.');
  91     }
  92     // sanity check for pyosmium-get-changes
  93     if (!CONST_Pyosmium_Binary) {
  94         echo "\nCONST_Pyosmium_Binary not configured.\n";
  95         echo "You need to install pyosmium and set up the path to pyosmium-get-changes\n";
  96         echo "in your local settings file.\n\n";
  97         fail('CONST_Pyosmium_Binary not configured');
  98     }
  99     $aOutput = 0;
 100     $sCmd = CONST_Pyosmium_Binary.' --help';
 101     exec($sCmd, $aOutput, $iRet);
 102     if ($iRet != 0) {
 103         echo "Cannot execute pyosmium-get-changes.\n";
 104         echo "Make sure you have pyosmium installed correctly\n";
 105         echo "and have set up CONST_Pyosmium_Binary to point to pyosmium-get-changes.\n";
 106         fail('pyosmium-get-changes not found or not usable');
 107     }
 108
 109     if (!$aResult['no-update-functions']) {
 110         // instantiate setupClass to use the function therein
 111         $cSetup = new SetupFunctions(array(
 112                                       'enable-diff-updates' => true,
 113                                       'verbose' => $aResult['verbose']
 114                                      ));
 115         $cSetup->connect();
 116         $cSetup->createFunctions();
 117     }
 118
 119     $sDatabaseDate = getDatabaseDate($oDB);
 120     if ($sDatabaseDate === false) {
 121         fail('Cannot determine date of database.');
 122     }
 123     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
 124
 125     // get the appropriate state id
 126     $aOutput = 0;
 127     $sCmd = CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url;
 128     exec($sCmd, $aOutput, $iRet);
 129     if ($iRet != 0 || $aOutput[0] == 'None') {
 130         fail('Error running pyosmium tools');
 131     }
 132
 133     pg_query($oDB->connection, 'TRUNCATE import_status');
 134     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
 135     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
 136     if (!pg_query($oDB->connection, $sSQL)) {
 137         fail('Could not enter sequence into database.');
 138     }
 139
 140     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 141 }
 142
 143 if ($aResult['check-for-updates']) {
 144     $aLastState = chksql($oDB->getRow('SELECT sequence_id FROM import_status'));
 145
 146     if (!$aLastState['sequence_id']) {
 147         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
 148     }
 149
 150     system(CONST_BasePath.'/utils/check_server_for_updates.py '.CONST_Replication_Url.' '.$aLastState['sequence_id'], $iRet);
 151     exit($iRet);
 152 }
 153
 154 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 155     // import diffs and files directly (e.g. from osmosis --rri)
 156     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 157
 158     if (!file_exists($sNextFile)) {
 159         fail("Cannot open $sNextFile\n");
 160     }
 161
 162     // Import the file
 163     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 164     echo $sCMD."\n";
 165     $iErrorLevel = runWithEnv($sCMD, $aProcEnv);
 166
 167     if ($iErrorLevel) {
 168         fail("Error from osm2pgsql, $iErrorLevel\n");
 169     }
 170
 171     // Don't update the import status - we don't know what this file contains
 172 }
 173
 174 if ($aResult['calculate-postcodes']) {
 175     info('Update postcodes centroids');
 176     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 177     runSQLScript($sTemplate, true, true);
 178 }
 179
 180 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 181 $bHaveDiff = false;
 182 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 183 $sContentURL = '';
 184 if (isset($aResult['import-node']) && $aResult['import-node']) {
 185     if ($bUseOSMApi) {
 186         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 187     } else {
 188         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 189     }
 190 }
 191
 192 if (isset($aResult['import-way']) && $aResult['import-way']) {
 193     if ($bUseOSMApi) {
 194         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 195     } else {
 196         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 197     }
 198 }
 199
 200 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 201     if ($bUseOSMApi) {
 202         $sContentURLsModifyXMLstr = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 203     } else {
 204         $sContentURL = 'https://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 205     }
 206 }
 207
 208 if ($sContentURL) {
 209     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 210     $bHaveDiff = true;
 211 }
 212
 213 if ($bHaveDiff) {
 214     // import generated change file
 215     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 216     echo $sCMD."\n";
 217     $iErrorLevel = runWithEnv($sCMD, $aProcEnv);
 218     if ($iErrorLevel) {
 219         fail("osm2pgsql exited with error level $iErrorLevel\n");
 220     }
 221 }
 222
 223 if ($aResult['deduplicate']) {
 224     $oDB =& getDB();
 225
 226     if (getPostgresVersion($oDB) < 9.3) {
 227         fail('ERROR: deduplicate is only currently supported in postgresql 9.3');
 228     }
 229
 230     $sSQL = 'select partition from country_name order by country_code';
 231     $aPartitions = chksql($oDB->getCol($sSQL));
 232     $aPartitions[] = 0;
 233
 234     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 235     foreach ($aPartitions as $i => $sPartition) {
 236         $sSQL = 'select count(*) from search_name_'.$sPartition;
 237         $nEntries = chksql($oDB->getOne($sSQL));
 238         if ($nEntries == 0) {
 239             unset($aPartitions[$i]);
 240         }
 241     }
 242
 243     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 244     $sSQL .= ' and class is null and type is null and country_code is null';
 245     $sSQL .= ' group by word_token having count(*) > 1 order by word_token';
 246     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 247     foreach ($aDuplicateTokens as $aToken) {
 248         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 249         echo 'Deduping '.$aToken['word_token']."\n";
 250         $sSQL = 'select word_id,';
 251         $sSQL .= ' (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num';
 252         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 253         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 254         $aTokenSet = chksql($oDB->getAll($sSQL));
 255
 256         $aKeep = array_shift($aTokenSet);
 257         $iKeepID = $aKeep['word_id'];
 258
 259         foreach ($aTokenSet as $aRemove) {
 260             $sSQL = 'update search_name set';
 261             $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.'),';
 262             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 263             $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 264             chksql($oDB->query($sSQL));
 265
 266             $sSQL = 'update search_name set';
 267             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 268             $sSQL .= ' where nameaddress_vector @> ARRAY['.$aRemove['word_id'].']';
 269             chksql($oDB->query($sSQL));
 270
 271             $sSQL = 'update location_area_country set';
 272             $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 273             $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 274             chksql($oDB->query($sSQL));
 275
 276             foreach ($aPartitions as $sPartition) {
 277                 $sSQL = 'update search_name_'.$sPartition.' set';
 278                 $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 279                 $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 280                 chksql($oDB->query($sSQL));
 281
 282                 $sSQL = 'update location_area_country set';
 283                 $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 284                 $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 285                 chksql($oDB->query($sSQL));
 286             }
 287
 288             $sSQL = 'delete from word where word_id = '.$aRemove['word_id'];
 289             chksql($oDB->query($sSQL));
 290         }
 291     }
 292 }
 293
 294 if ($aResult['recompute-word-counts']) {
 295     info('Recompute frequency of full-word search terms');
 296     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
 297     runSQLScript($sTemplate, true, true);
 298 }
 299
 300 if ($aResult['index']) {
 301     $sCmd = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank'];
 302     if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 303         $sCmd .= ' -H ' . $aDSNInfo['hostspec'];
 304     }
 305     if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 306         $sCmd .= ' -U ' . $aDSNInfo['username'];
 307     }
 308
 309     runWithEnv($sCmd, $aProcEnv);
 310 }
 311
 312 if ($aResult['update-address-levels']) {
 313     echo 'Updating address levels from '.CONST_Address_Level_Config.".\n";
 314     $oAlParser = new \Nominatim\Setup\AddressLevelParser(CONST_Address_Level_Config);
 315     $oAlParser->createTable($oDB, 'address_levels');
 316 }
 317
 318 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 319     //
 320     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 321         fail('Error: Update interval too low for download.geofabrik.de. ' .
 322              "Please check install documentation (http://nominatim.org/release-docs/latest/Import-and-Update#setting-up-the-update-process)\n");
 323     }
 324
 325     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 326     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 327     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 328     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 329     if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 330         $sCMDIndex .= ' -H ' . $aDSNInfo['hostspec'];
 331     }
 332     if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 333         $sCMDIndex .= ' -U ' . $aDSNInfo['username'];
 334     }
 335
 336     while (true) {
 337         $fStartTime = time();
 338         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
 339
 340         if (!$aLastState['sequence_id']) {
 341             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 342             exit(1);
 343         }
 344
 345         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 346
 347         $sBatchEnd = $aLastState['lastimportdate'];
 348         $iEndSequence = $aLastState['sequence_id'];
 349
 350         if ($aLastState['indexed'] == 't') {
 351             // Sleep if the update interval has not yet been reached.
 352             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 353             if ($fNextUpdate > $fStartTime) {
 354                 $iSleepTime = $fNextUpdate - $fStartTime;
 355                 echo "Waiting for next update for $iSleepTime sec.";
 356                 sleep($iSleepTime);
 357             }
 358
 359             // Download the next batch of changes.
 360             do {
 361                 $fCMDStartTime = time();
 362                 $iNextSeq = (int) $aLastState['sequence_id'];
 363                 unset($aOutput);
 364                 echo "$sCMDDownload -I $iNextSeq\n";
 365                 if (file_exists($sImportFile)) {
 366                     unlink($sImportFile);
 367                 }
 368                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 369
 370                 if ($iResult == 3) {
 371                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 372                     sleep(CONST_Replication_Recheck_Interval);
 373                 } elseif ($iResult != 0) {
 374                     echo 'ERROR: updates failed.';
 375                     exit($iResult);
 376                 } else {
 377                     $iEndSequence = (int)$aOutput[0];
 378                 }
 379             } while ($iResult);
 380
 381             // get the newest object from the diff file
 382             $sBatchEnd = 0;
 383             $iRet = 0;
 384             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 385             if ($iRet == 5) {
 386                 echo "Diff file is empty. skipping import.\n";
 387                 if (!$aResult['import-osmosis-all']) {
 388                     exit(0);
 389                 } else {
 390                     continue;
 391                 }
 392             }
 393             if ($iRet != 0) {
 394                 fail('Error getting date from diff file.');
 395             }
 396             $sBatchEnd = $sBatchEnd[0];
 397
 398             // Import the file
 399             $fCMDStartTime = time();
 400             echo $sCMDImport."\n";
 401             unset($sJunk);
 402             $iErrorLevel = runWithEnv($sCMDImport, $aProcEnv);
 403             if ($iErrorLevel) {
 404                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 405                 exit($iErrorLevel);
 406             }
 407
 408             // write the update logs
 409             $iFileSize = filesize($sImportFile);
 410             $sSQL = 'INSERT INTO import_osmosis_log';
 411             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 412             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 413             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 414             $sSQL .= date('Y-m-d H:i:s')."','import')";
 415             var_Dump($sSQL);
 416             chksql($oDB->query($sSQL));
 417
 418             // update the status
 419             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 420             var_Dump($sSQL);
 421             chksql($oDB->query($sSQL));
 422             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 423         }
 424
 425         // Index file
 426         if (!$aResult['no-index']) {
 427             $sThisIndexCmd = $sCMDIndex;
 428             $fCMDStartTime = time();
 429
 430             echo "$sThisIndexCmd\n";
 431             $iErrorLevel = runWithEnv($sThisIndexCmd, $aProcEnv);
 432             if ($iErrorLevel) {
 433                 echo "Error: $iErrorLevel\n";
 434                 exit($iErrorLevel);
 435             }
 436
 437             $sSQL = 'INSERT INTO import_osmosis_log';
 438             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 439             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 440             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 441             $sSQL .= date('Y-m-d H:i:s')."','index')";
 442             var_Dump($sSQL);
 443             $oDB->query($sSQL);
 444             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 445
 446             $sSQL = 'update import_status set indexed = true';
 447             $oDB->query($sSQL);
 448         }
 449
 450         $fDuration = time() - $fStartTime;
 451         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 452         if (!$aResult['import-osmosis-all']) exit(0);
 453     }
 454 }