utils/update.php

   1 #!/usr/bin/php -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 ini_set('memory_limit', '800M');
   7
   8 $aCMDOptions
   9 = array(
  10    "Import / update / index osm data",
  11    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  12    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  13    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  14
  15    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  16    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  17    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  18    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolate)'),
  19    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  20
  21    array('import-all', '', 0, 1, 0, 0, 'bool', 'Import all available files'),
  22
  23    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  24    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  25    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  26
  27    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  28    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  29    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  30    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  31
  32    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  33    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  34    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  35
  36    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  37   );
  38 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  39
  40 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  41
  42 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  43
  44 date_default_timezone_set('Etc/UTC');
  45
  46 $oDB =& getDB();
  47
  48 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  49 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  50
  51 // cache memory to be used by osm2pgsql, should not be more than the available memory
  52 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  53 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  54     $iCacheMemory = getCacheMemoryMB();
  55     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  56 }
  57 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  58 if (!is_null(CONST_Osm2pgsql_Flatnode_File)) {
  59     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  60 }
  61
  62 if ($aResult['init-updates']) {
  63     // sanity check that the replication URL is correct
  64     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
  65     if ($sBaseState === false) {
  66         echo "\nCannot find state.txt file at the configured replication URL.\n";
  67         echo "Does the URL point to a directory containing OSM update data?\n\n";
  68         fail("replication URL not reachable.");
  69     }
  70     $sSetup = CONST_InstallPath.'/utils/setup.php';
  71     $iRet = -1;
  72     passthru($sSetup.' --create-functions --enable-diff-updates', $iRet);
  73     if ($iRet != 0) {
  74         fail('Error running setup script');
  75     }
  76
  77     $sDatabaseDate = getDatabaseDate($oDB);
  78     if ($sDatabaseDate === false) {
  79         fail("Cannot determine date of database.");
  80     }
  81     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ',
  82                           strtotime($sDatabaseDate) - (3*60*60));
  83
  84     // get the appropriate state id
  85     $aOutput = 0;
  86     $sCmd = CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url;
  87     exec($sCmd, $aOutput, $iRet);
  88     if ($iRet != 0 || $aOutput[0] == 'None') {
  89         fail('Error running pyosmium tools');
  90     }
  91
  92     pg_query($oDB->connection, 'TRUNCATE import_status');
  93     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
  94     $sSQL .= $sDatabaseDate."',".$aOutput[0].", true)";
  95     if (!pg_query($oDB->connection, $sSQL)) {
  96         fail("Could not enter sequence into database.");
  97     }
  98
  99     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 100 }
 101
 102 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 103     // import diffs and files directly (e.g. from osmosis --rri)
 104     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 105     if (!file_exists($sNextFile)) {
 106         fail("Cannot open $sNextFile\n");
 107     }
 108
 109     // Import the file
 110     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 111     echo $sCMD."\n";
 112     exec($sCMD, $sJunk, $iErrorLevel);
 113
 114     if ($iErrorLevel) {
 115         fail("Error from osm2pgsql, $iErrorLevel\n");
 116     }
 117
 118     // Don't update the import status - we don't know what this file contains
 119 }
 120
 121 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 122 $bHaveDiff = false;
 123 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 124 $sContentURL = '';
 125 if (isset($aResult['import-node']) && $aResult['import-node']) {
 126     if ($bUseOSMApi) {
 127         $sContentURL = 'http://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 128     } else {
 129         $sContentURL = 'http://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 130     }
 131 }
 132
 133 if (isset($aResult['import-way']) && $aResult['import-way']) {
 134     if ($bUseOSMApi) {
 135         $sContentURL = 'http://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 136     } else {
 137         $sContentURL = 'http://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 138     }
 139 }
 140
 141 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 142     if ($bUseOSMApi) {
 143         $sContentURLsModifyXMLstr = 'http://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 144     } else {
 145         $sContentURL = 'http://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 146     }
 147 }
 148
 149 if ($sContentURL) {
 150     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 151     $bHaveDiff = true;
 152 }
 153
 154 if ($bHaveDiff) {
 155     // import generated change file
 156     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 157     echo $sCMD."\n";
 158     exec($sCMD, $sJunk, $iErrorLevel);
 159     if ($iErrorLevel) {
 160         fail("osm2pgsql exited with error level $iErrorLevel\n");
 161     }
 162 }
 163
 164 if ($aResult['deduplicate']) {
 165     $oDB =& getDB();
 166
 167     if (getPostgresVersion($oDB) < 9.3) {
 168         fail("ERROR: deduplicate is only currently supported in postgresql 9.3");
 169     }
 170
 171     $sSQL = 'select partition from country_name order by country_code';
 172     $aPartitions = chksql($oDB->getCol($sSQL));
 173     $aPartitions[] = 0;
 174
 175     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 176     foreach ($aPartitions as $i => $sPartition) {
 177         $sSQL = "select count(*) from search_name_".$sPartition;
 178         $nEntries = chksql($oDB->getOne($sSQL));
 179         if ($nEntries == 0) {
 180             unset($aPartitions[$i]);
 181         }
 182     }
 183
 184     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 185     $sSQL .= " and class is null and type is null and country_code is null";
 186     $sSQL .= " group by word_token having count(*) > 1 order by word_token";
 187     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 188     foreach ($aDuplicateTokens as $aToken) {
 189         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 190         echo "Deduping ".$aToken['word_token']."\n";
 191         $sSQL = "select word_id,";
 192         $sSQL .= " (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num";
 193         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 194         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 195         $aTokenSet = chksql($oDB->getAll($sSQL));
 196
 197         $aKeep = array_shift($aTokenSet);
 198         $iKeepID = $aKeep['word_id'];
 199
 200         foreach ($aTokenSet as $aRemove) {
 201             $sSQL = "update search_name set";
 202             $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID."),";
 203             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 204             $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 205             chksql($oDB->query($sSQL));
 206
 207             $sSQL = "update search_name set";
 208             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 209             $sSQL .= " where nameaddress_vector @> ARRAY[".$aRemove['word_id']."]";
 210             chksql($oDB->query($sSQL));
 211
 212             $sSQL = "update location_area_country set";
 213             $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 214             $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 215             chksql($oDB->query($sSQL));
 216
 217             foreach ($aPartitions as $sPartition) {
 218                 $sSQL = "update search_name_".$sPartition." set";
 219                 $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID.")";
 220                 $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 221                 chksql($oDB->query($sSQL));
 222
 223                 $sSQL = "update location_area_country set";
 224                 $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 225                 $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 226                 chksql($oDB->query($sSQL));
 227             }
 228
 229             $sSQL = "delete from word where word_id = ".$aRemove['word_id'];
 230             chksql($oDB->query($sSQL));
 231         }
 232     }
 233 }
 234
 235 if ($aResult['index']) {
 236     passthru(CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank']);
 237 }
 238
 239 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 240     //
 241     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 242         fail("Error: Update interval too low for download.geofabrik.de.  Please check install documentation (http://wiki.openstreetmap.org/wiki/Nominatim/Installation#Updates)\n");
 243     }
 244
 245     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 246     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 247     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 248     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 249
 250     while (true) {
 251         $fStartTime = time();
 252         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
 253
 254         if (!$aLastState['sequence_id']) {
 255             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 256             exit(1);
 257         }
 258
 259         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 260
 261         $sBatchEnd = $aLastState['lastimportdate'];
 262         $iEndSequence = $aLastState['sequence_id'];
 263
 264         if ($aLastState['indexed'] == 't') {
 265             // Sleep if the update interval has not yet been reached.
 266             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 267             if ($fNextUpdate > $fStartTime) {
 268                 $iSleepTime = $fNextUpdate - $fStartTime;
 269                 echo "Waiting for next update for $iSleepTime sec.";
 270                 sleep($iSleepTime);
 271             }
 272
 273             // Download the next batch of changes.
 274             do {
 275                 $fCMDStartTime = time();
 276                 $iNextSeq = (int) $aLastState['sequence_id'];
 277                 unset($aOutput);
 278                 echo "$sCMDDownload -I $iNextSeq\n";
 279                 unlink($sImportFile);
 280                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 281
 282                 if ($iResult == 3) {
 283                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 284                     sleep(CONST_Replication_Recheck_Interval);
 285                 } else if ($iResult != 0) {
 286                     echo 'ERROR: updates failed.';
 287                     exit($iResult);
 288                 } else {
 289                     $iEndSequence = (int)$aOutput[0];
 290                 }
 291             } while ($iResult);
 292
 293             // get the newest object from the diff file
 294             $sBatchEnd = 0;
 295             $iRet = 0;
 296             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 297             if ($iRet == 5) {
 298                 echo "Diff file is empty. skipping import.\n";
 299                 if (!$aResult['import-osmosis-all']) {
 300                     exit(0);
 301                 } else {
 302                     continue;
 303                 }
 304             }
 305             if ($iRet != 0) {
 306                 fail('Error getting date from diff file.');
 307             }
 308             $sBatchEnd = $sBatchEnd[0];
 309
 310             // Import the file
 311             $fCMDStartTime = time();
 312             echo $sCMDImport."\n";
 313             unset($sJunk);
 314             exec($sCMDImport, $sJunk, $iErrorLevel);
 315             if ($iErrorLevel) {
 316                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 317                 exit($iErrorLevel);
 318             }
 319
 320             // write the update logs
 321             $iFileSize = filesize($sImportFile);
 322             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','import')";
 323             var_Dump($sSQL);
 324             chksql($oDB->query($sSQL));
 325
 326             // update the status
 327             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 328             var_Dump($sSQL);
 329             chksql($oDB->query($sSQL));
 330             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 331         }
 332
 333         // Index file
 334         if (!$aResult['no-index']) {
 335             $sThisIndexCmd = $sCMDIndex;
 336             $fCMDStartTime = time();
 337
 338             echo "$sThisIndexCmd\n";
 339             exec($sThisIndexCmd, $sJunk, $iErrorLevel);
 340             if ($iErrorLevel) {
 341                 echo "Error: $iErrorLevel\n";
 342                 exit($iErrorLevel);
 343             }
 344
 345             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','index')";
 346             var_Dump($sSQL);
 347             $oDB->query($sSQL);
 348             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 349
 350             $sSQL = "update import_status set indexed = true";
 351             $oDB->query($sSQL);
 352         }
 353
 354         $fDuration = time() - $fStartTime;
 355         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 356         if (!$aResult['import-osmosis-all']) exit(0);
 357     }
 358 }
 359