utils/update.php

   1 #!/usr/bin/php -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 ini_set('memory_limit', '800M');
   7
   8 $aCMDOptions
   9 = array(
  10    "Import / update / index osm data",
  11    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  12    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  13    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  14
  15    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  16    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  17    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  18    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolate)'),
  19    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  20
  21    array('import-all', '', 0, 1, 0, 0, 'bool', 'Import all available files'),
  22
  23    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  24    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  25    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  26
  27    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  28    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  29    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  30    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  31
  32    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  33    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  34    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  35
  36    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  37   );
  38 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  39
  40 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  41 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  42
  43 date_default_timezone_set('Etc/UTC');
  44
  45 $oDB =& getDB();
  46
  47 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  48 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  49
  50 // cache memory to be used by osm2pgsql, should not be more than the available memory
  51 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  52 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  53     $iCacheMemory = getCacheMemoryMB();
  54     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  55 }
  56 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  57 if (!is_null(CONST_Osm2pgsql_Flatnode_File)) {
  58     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  59 }
  60
  61 if ($aResult['init-updates']) {
  62     $sSetup = CONST_InstallPath.'/utils/setup.php';
  63     $iRet = -1;
  64     passthru($sSetup.' --create-functions --enable-diff-updates', $iRet);
  65     if ($iRet != 0) {
  66         fail('Error running setup script');
  67     }
  68
  69     $sDatabaseDate = getDatabaseDate($oDB);
  70     if ($sDatabaseDate === false) {
  71         fail("Cannot determine date of database.");
  72     }
  73     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ',
  74                           strtotime($sDatabaseDate) - (3*60*60));
  75
  76     // get the appropriate state id
  77     $aOutput = 0;
  78     exec(CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url,
  79         $aOutput, $iRet);
  80     if ($iRet != 0) {
  81         fail('Error running pyosmium tools');
  82     }
  83
  84     pg_query($oDB->connection, 'TRUNCATE import_status');
  85     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
  86     $sSQL .= $sDatabaseDate."',".$aOutput[0].", true)";
  87     if (!pg_query($oDB->connection, $sSQL)) {
  88         fail("Could not enter sequence into database.");
  89     }
  90
  91     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
  92 }
  93
  94 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
  95     // import diffs and files directly (e.g. from osmosis --rri)
  96     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
  97     if (!file_exists($sNextFile)) {
  98         fail("Cannot open $sNextFile\n");
  99     }
 100
 101     // Import the file
 102     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 103     echo $sCMD."\n";
 104     exec($sCMD, $sJunk, $iErrorLevel);
 105
 106     if ($iErrorLevel) {
 107         fail("Error from osm2pgsql, $iErrorLevel\n");
 108     }
 109
 110     // Don't update the import status - we don't know what this file contains
 111 }
 112
 113 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 114 $bHaveDiff = false;
 115 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 116 $sContentURL = '';
 117 if (isset($aResult['import-node']) && $aResult['import-node']) {
 118     if ($bUseOSMApi) {
 119         $sContentURL = 'http://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 120     } else {
 121         $sContentURL = 'http://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 122     }
 123 }
 124
 125 if (isset($aResult['import-way']) && $aResult['import-way']) {
 126     if ($bUseOSMApi) {
 127         $sContentURL = 'http://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 128     } else {
 129         $sContentURL = 'http://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 130     }
 131 }
 132
 133 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 134     if ($bUseOSMApi) {
 135         $sContentURLsModifyXMLstr = 'http://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 136     } else {
 137         $sContentURL = 'http://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 138     }
 139 }
 140
 141 if ($sContentURL) {
 142     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 143     $bHaveDiff = true;
 144 }
 145
 146 if ($bHaveDiff) {
 147     // import generated change file
 148     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 149     echo $sCMD."\n";
 150     exec($sCMD, $sJunk, $iErrorLevel);
 151     if ($iErrorLevel) {
 152         fail("osm2pgsql exited with error level $iErrorLevel\n");
 153     }
 154 }
 155
 156 if ($aResult['deduplicate']) {
 157     $oDB =& getDB();
 158
 159     if (getPostgresVersion($oDB) < 9.3) {
 160         fail("ERROR: deduplicate is only currently supported in postgresql 9.3");
 161     }
 162
 163     $sSQL = 'select partition from country_name order by country_code';
 164     $aPartitions = chksql($oDB->getCol($sSQL));
 165     $aPartitions[] = 0;
 166
 167     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 168     foreach ($aPartitions as $i => $sPartition) {
 169         $sSQL = "select count(*) from search_name_".$sPartition;
 170         $nEntries = chksql($oDB->getOne($sSQL));
 171         if ($nEntries == 0) {
 172             unset($aPartitions[$i]);
 173         }
 174     }
 175
 176     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 177     $sSQL .= " and class is null and type is null and country_code is null";
 178     $sSQL .= " group by word_token having count(*) > 1 order by word_token";
 179     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 180     foreach ($aDuplicateTokens as $aToken) {
 181         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 182         echo "Deduping ".$aToken['word_token']."\n";
 183         $sSQL = "select word_id,";
 184         $sSQL .= " (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num";
 185         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 186         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 187         $aTokenSet = chksql($oDB->getAll($sSQL));
 188
 189         $aKeep = array_shift($aTokenSet);
 190         $iKeepID = $aKeep['word_id'];
 191
 192         foreach ($aTokenSet as $aRemove) {
 193             $sSQL = "update search_name set";
 194             $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID."),";
 195             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 196             $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 197             chksql($oDB->query($sSQL));
 198
 199             $sSQL = "update search_name set";
 200             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 201             $sSQL .= " where nameaddress_vector @> ARRAY[".$aRemove['word_id']."]";
 202             chksql($oDB->query($sSQL));
 203
 204             $sSQL = "update location_area_country set";
 205             $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 206             $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 207             chksql($oDB->query($sSQL));
 208
 209             foreach ($aPartitions as $sPartition) {
 210                 $sSQL = "update search_name_".$sPartition." set";
 211                 $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID.")";
 212                 $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 213                 chksql($oDB->query($sSQL));
 214
 215                 $sSQL = "update location_area_country set";
 216                 $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 217                 $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 218                 chksql($oDB->query($sSQL));
 219             }
 220
 221             $sSQL = "delete from word where word_id = ".$aRemove['word_id'];
 222             chksql($oDB->query($sSQL));
 223         }
 224     }
 225 }
 226
 227 if ($aResult['index']) {
 228     passthru(CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank']);
 229 }
 230
 231 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 232     //
 233     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 234         fail("Error: Update interval too low for download.geofabrik.de.  Please check install documentation (http://wiki.openstreetmap.org/wiki/Nominatim/Installation#Updates)\n");
 235     }
 236
 237     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 238     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 239     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 240     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 241
 242     while (true) {
 243         $fStartTime = time();
 244         $iFileSize = 1001;
 245
 246         $aLastState = chksql($oDB->getRow('SELECT * FROM import_status'));
 247
 248         if (!$aLastState['sequence_id']) {
 249             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 250             exit(1);
 251         }
 252
 253         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 254
 255         $sBatchEnd = $aLastState['lastimportdate'];
 256         $iEndSequence = $aLastState['sequence_id'];
 257
 258         if ($aLastState['indexed'] == 't') {
 259             // Sleep if the update interval has not yet been reached.
 260             $fNextUpdate = $aLastState['lastimportdate'] + CONST_Replication_Update_Interval;
 261             if ($fNextUpdate > $fStartTime) {
 262                 $iSleepTime = $fNextUpdate - $fStartTime;
 263                 echo "Waiting for next update for $iSleepTime sec.";
 264                 sleep($iSleepTime);
 265             }
 266
 267             // Download the next batch of changes.
 268             do {
 269                 $fCMDStartTime = time();
 270                 $iNextSeq = (int) $aLastState['sequence_id'];
 271                 unset($aOutput);
 272                 echo "$sCMDDownload -I $iNextSeq\n";
 273                 unlink($sImportFile);
 274                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 275
 276                 if ($iResult == 3) {
 277                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 278                     sleep(CONST_Replication_Recheck_Interval);
 279                 } else if ($iResult != 0) {
 280                     echo 'ERROR: updates failed.';
 281                     exit($iResult);
 282                 } else {
 283                     $iEndSequence = (int)$aOutput[0];
 284                 }
 285             } while ($iResult);
 286
 287             // Import the file
 288             $fCMDStartTime = time();
 289             echo $sCMDImport."\n";
 290             unset($sJunk);
 291             exec($sCMDImport, $sJunk, $iErrorLevel);
 292             if ($iErrorLevel) {
 293                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 294                 exit($iErrorLevel);
 295             }
 296
 297             // write the update logs
 298             $iFileSize = filesize($sImportFile);
 299             // get the newest object from the diff file
 300             $sBatchEnd = 0;
 301             $iRet = 0;
 302             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 303             if ($iRet != 0) {
 304                 fail('Error getting date from diff file.');
 305             }
 306             $sBatchEnd = $sBatchEnd[0];
 307             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','import')";
 308             var_Dump($sSQL);
 309             chksql($oDB->query($sSQL));
 310
 311             // update the status
 312             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 313             var_Dump($sSQL);
 314             chksql($oDB->query($sSQL));
 315             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 316         }
 317
 318         // Index file
 319         if (!$aResult['no-index']) {
 320             $sThisIndexCmd = $sCMDIndex;
 321             $fCMDStartTime = time();
 322
 323             echo "$sThisIndexCmd\n";
 324             exec($sThisIndexCmd, $sJunk, $iErrorLevel);
 325             if ($iErrorLevel) {
 326                 echo "Error: $iErrorLevel\n";
 327                 exit($iErrorLevel);
 328             }
 329
 330             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','index')";
 331             var_Dump($sSQL);
 332             $oDB->query($sSQL);
 333             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 334
 335             $sSQL = "update import_status set indexed = true";
 336             $oDB->query($sSQL);
 337         }
 338
 339         $fDuration = time() - $fStartTime;
 340         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 341         if (!$aResult['import-osmosis-all']) exit(0);
 342     }
 343 }
 344