utils/update.php

   1 #!/usr/bin/php -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 ini_set('memory_limit', '800M');
   7
   8 $aCMDOptions
   9 = array(
  10    'Import / update / index osm data',
  11    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  12    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  13    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  14
  15    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  16    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  17    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  18    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  19
  20    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  21
  22    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  23    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  24    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  25
  26    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  27    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  28    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  29    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  30
  31    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  32    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  33    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  34
  35    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  36    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
  37    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolete)'),
  38   );
  39 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  40
  41 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  42
  43 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  44
  45 date_default_timezone_set('Etc/UTC');
  46
  47 $oDB =& getDB();
  48
  49 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  50 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  51
  52 // cache memory to be used by osm2pgsql, should not be more than the available memory
  53 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  54 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  55     $iCacheMemory = getCacheMemoryMB();
  56     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  57 }
  58 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  59 if (!is_null(CONST_Osm2pgsql_Flatnode_File)) {
  60     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  61 }
  62
  63 if ($aResult['init-updates']) {
  64     // sanity check that the replication URL is correct
  65     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
  66     if ($sBaseState === false) {
  67         echo "\nCannot find state.txt file at the configured replication URL.\n";
  68         echo "Does the URL point to a directory containing OSM update data?\n\n";
  69         fail('replication URL not reachable.');
  70     }
  71     $sSetup = CONST_InstallPath.'/utils/setup.php';
  72     $iRet = -1;
  73     passthru($sSetup.' --create-functions --enable-diff-updates', $iRet);
  74     if ($iRet != 0) {
  75         fail('Error running setup script');
  76     }
  77
  78     $sDatabaseDate = getDatabaseDate($oDB);
  79     if ($sDatabaseDate === false) {
  80         fail('Cannot determine date of database.');
  81     }
  82     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
  83
  84     // get the appropriate state id
  85     $aOutput = 0;
  86     $sCmd = CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url;
  87     exec($sCmd, $aOutput, $iRet);
  88     if ($iRet != 0 || $aOutput[0] == 'None') {
  89         fail('Error running pyosmium tools');
  90     }
  91
  92     pg_query($oDB->connection, 'TRUNCATE import_status');
  93     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
  94     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
  95     if (!pg_query($oDB->connection, $sSQL)) {
  96         fail('Could not enter sequence into database.');
  97     }
  98
  99     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 100 }
 101
 102 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 103     // import diffs and files directly (e.g. from osmosis --rri)
 104     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 105
 106     if (!file_exists($sNextFile)) {
 107         fail("Cannot open $sNextFile\n");
 108     }
 109
 110     // Import the file
 111     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 112     echo $sCMD."\n";
 113     exec($sCMD, $sJunk, $iErrorLevel);
 114
 115     if ($iErrorLevel) {
 116         fail("Error from osm2pgsql, $iErrorLevel\n");
 117     }
 118
 119     // Don't update the import status - we don't know what this file contains
 120 }
 121
 122 if ($aResult['calculate-postcodes']) {
 123     info('Update postcodes centroids');
 124     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 125     runSQLScript($sTemplate, true, true);
 126 }
 127
 128 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 129 $bHaveDiff = false;
 130 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 131 $sContentURL = '';
 132 if (isset($aResult['import-node']) && $aResult['import-node']) {
 133     if ($bUseOSMApi) {
 134         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 135     } else {
 136         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 137     }
 138 }
 139
 140 if (isset($aResult['import-way']) && $aResult['import-way']) {
 141     if ($bUseOSMApi) {
 142         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 143     } else {
 144         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 145     }
 146 }
 147
 148 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 149     if ($bUseOSMApi) {
 150         $sContentURLsModifyXMLstr = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 151     } else {
 152         $sContentURL = 'https://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 153     }
 154 }
 155
 156 if ($sContentURL) {
 157     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 158     $bHaveDiff = true;
 159 }
 160
 161 if ($bHaveDiff) {
 162     // import generated change file
 163     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 164     echo $sCMD."\n";
 165     exec($sCMD, $sJunk, $iErrorLevel);
 166     if ($iErrorLevel) {
 167         fail("osm2pgsql exited with error level $iErrorLevel\n");
 168     }
 169 }
 170
 171 if ($aResult['deduplicate']) {
 172     $oDB =& getDB();
 173
 174     if (getPostgresVersion($oDB) < 9.3) {
 175         fail('ERROR: deduplicate is only currently supported in postgresql 9.3');
 176     }
 177
 178     $sSQL = 'select partition from country_name order by country_code';
 179     $aPartitions = chksql($oDB->getCol($sSQL));
 180     $aPartitions[] = 0;
 181
 182     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 183     foreach ($aPartitions as $i => $sPartition) {
 184         $sSQL = 'select count(*) from search_name_'.$sPartition;
 185         $nEntries = chksql($oDB->getOne($sSQL));
 186         if ($nEntries == 0) {
 187             unset($aPartitions[$i]);
 188         }
 189     }
 190
 191     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 192     $sSQL .= ' and class is null and type is null and country_code is null';
 193     $sSQL .= ' group by word_token having count(*) > 1 order by word_token';
 194     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 195     foreach ($aDuplicateTokens as $aToken) {
 196         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 197         echo 'Deduping '.$aToken['word_token']."\n";
 198         $sSQL = 'select word_id,';
 199         $sSQL .= ' (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num';
 200         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 201         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 202         $aTokenSet = chksql($oDB->getAll($sSQL));
 203
 204         $aKeep = array_shift($aTokenSet);
 205         $iKeepID = $aKeep['word_id'];
 206
 207         foreach ($aTokenSet as $aRemove) {
 208             $sSQL = 'update search_name set';
 209             $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.'),';
 210             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 211             $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 212             chksql($oDB->query($sSQL));
 213
 214             $sSQL = 'update search_name set';
 215             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 216             $sSQL .= ' where nameaddress_vector @> ARRAY['.$aRemove['word_id'].']';
 217             chksql($oDB->query($sSQL));
 218
 219             $sSQL = 'update location_area_country set';
 220             $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 221             $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 222             chksql($oDB->query($sSQL));
 223
 224             foreach ($aPartitions as $sPartition) {
 225                 $sSQL = 'update search_name_'.$sPartition.' set';
 226                 $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 227                 $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 228                 chksql($oDB->query($sSQL));
 229
 230                 $sSQL = 'update location_area_country set';
 231                 $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 232                 $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 233                 chksql($oDB->query($sSQL));
 234             }
 235
 236             $sSQL = 'delete from word where word_id = '.$aRemove['word_id'];
 237             chksql($oDB->query($sSQL));
 238         }
 239     }
 240 }
 241
 242 if ($aResult['recompute-word-counts']) {
 243     info('Recompute frequency of full-word search terms');
 244     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
 245     runSQLScript($sTemplate, true, true);
 246 }
 247
 248 if ($aResult['index']) {
 249     passthru(CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank']);
 250 }
 251
 252 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 253     //
 254     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 255         fail("Error: Update interval too low for download.geofabrik.de.  Please check install documentation (http://nominatim.org/release-docs/latest/Import-and-Update#setting-up-the-update-process)\n");
 256     }
 257
 258     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 259     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 260     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 261     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 262
 263     while (true) {
 264         $fStartTime = time();
 265         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
 266
 267         if (!$aLastState['sequence_id']) {
 268             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 269             exit(1);
 270         }
 271
 272         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 273
 274         $sBatchEnd = $aLastState['lastimportdate'];
 275         $iEndSequence = $aLastState['sequence_id'];
 276
 277         if ($aLastState['indexed'] == 't') {
 278             // Sleep if the update interval has not yet been reached.
 279             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 280             if ($fNextUpdate > $fStartTime) {
 281                 $iSleepTime = $fNextUpdate - $fStartTime;
 282                 echo "Waiting for next update for $iSleepTime sec.";
 283                 sleep($iSleepTime);
 284             }
 285
 286             // Download the next batch of changes.
 287             do {
 288                 $fCMDStartTime = time();
 289                 $iNextSeq = (int) $aLastState['sequence_id'];
 290                 unset($aOutput);
 291                 echo "$sCMDDownload -I $iNextSeq\n";
 292                 unlink($sImportFile);
 293                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 294
 295                 if ($iResult == 3) {
 296                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 297                     sleep(CONST_Replication_Recheck_Interval);
 298                 } elseif ($iResult != 0) {
 299                     echo 'ERROR: updates failed.';
 300                     exit($iResult);
 301                 } else {
 302                     $iEndSequence = (int)$aOutput[0];
 303                 }
 304             } while ($iResult);
 305
 306             // get the newest object from the diff file
 307             $sBatchEnd = 0;
 308             $iRet = 0;
 309             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 310             if ($iRet == 5) {
 311                 echo "Diff file is empty. skipping import.\n";
 312                 if (!$aResult['import-osmosis-all']) {
 313                     exit(0);
 314                 } else {
 315                     continue;
 316                 }
 317             }
 318             if ($iRet != 0) {
 319                 fail('Error getting date from diff file.');
 320             }
 321             $sBatchEnd = $sBatchEnd[0];
 322
 323             // Import the file
 324             $fCMDStartTime = time();
 325             echo $sCMDImport."\n";
 326             unset($sJunk);
 327             exec($sCMDImport, $sJunk, $iErrorLevel);
 328             if ($iErrorLevel) {
 329                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 330                 exit($iErrorLevel);
 331             }
 332
 333             // write the update logs
 334             $iFileSize = filesize($sImportFile);
 335             $sSQL = 'INSERT INTO import_osmosis_log';
 336             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 337             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 338             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 339             $sSQL .= date('Y-m-d H:i:s')."','import')";
 340             var_Dump($sSQL);
 341             chksql($oDB->query($sSQL));
 342
 343             // update the status
 344             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 345             var_Dump($sSQL);
 346             chksql($oDB->query($sSQL));
 347             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 348         }
 349
 350         // Index file
 351         if (!$aResult['no-index']) {
 352             $sThisIndexCmd = $sCMDIndex;
 353             $fCMDStartTime = time();
 354
 355             echo "$sThisIndexCmd\n";
 356             exec($sThisIndexCmd, $sJunk, $iErrorLevel);
 357             if ($iErrorLevel) {
 358                 echo "Error: $iErrorLevel\n";
 359                 exit($iErrorLevel);
 360             }
 361
 362             $sSQL = 'INSERT INTO import_osmosis_log';
 363             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 364             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 365             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 366             $sSQL .= date('Y-m-d H:i:s')."','index')";
 367             var_Dump($sSQL);
 368             $oDB->query($sSQL);
 369             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 370
 371             $sSQL = 'update import_status set indexed = true';
 372             $oDB->query($sSQL);
 373         }
 374
 375         $fDuration = time() - $fStartTime;
 376         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 377         if (!$aResult['import-osmosis-all']) exit(0);
 378     }
 379 }