utils/update.php

   1 #!/usr/bin/php -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 ini_set('memory_limit', '800M');
   7
   8 $aCMDOptions
   9 = array(
  10    "Import / update / index osm data",
  11    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  12    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  13    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  14
  15    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  16    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  17    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  18    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolate)'),
  19    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  20
  21    array('import-all', '', 0, 1, 0, 0, 'bool', 'Import all available files'),
  22
  23    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  24    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  25    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  26
  27    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  28    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  29    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  30    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  31
  32    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  33    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  34    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  35
  36    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  37   );
  38 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  39
  40 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  41
  42 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  43
  44 date_default_timezone_set('Etc/UTC');
  45
  46 $oDB =& getDB();
  47
  48 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  49 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  50
  51 // cache memory to be used by osm2pgsql, should not be more than the available memory
  52 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  53 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  54     $iCacheMemory = getCacheMemoryMB();
  55     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  56 }
  57 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  58 if (!is_null(CONST_Osm2pgsql_Flatnode_File)) {
  59     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  60 }
  61
  62 if ($aResult['init-updates']) {
  63     $sSetup = CONST_InstallPath.'/utils/setup.php';
  64     $iRet = -1;
  65     passthru($sSetup.' --create-functions --enable-diff-updates', $iRet);
  66     if ($iRet != 0) {
  67         fail('Error running setup script');
  68     }
  69
  70     $sDatabaseDate = getDatabaseDate($oDB);
  71     if ($sDatabaseDate === false) {
  72         fail("Cannot determine date of database.");
  73     }
  74     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ',
  75                           strtotime($sDatabaseDate) - (3*60*60));
  76
  77     // get the appropriate state id
  78     $aOutput = 0;
  79     exec(CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url,
  80         $aOutput, $iRet);
  81     if ($iRet != 0) {
  82         fail('Error running pyosmium tools');
  83     }
  84
  85     pg_query($oDB->connection, 'TRUNCATE import_status');
  86     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
  87     $sSQL .= $sDatabaseDate."',".$aOutput[0].", true)";
  88     if (!pg_query($oDB->connection, $sSQL)) {
  89         fail("Could not enter sequence into database.");
  90     }
  91
  92     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
  93 }
  94
  95 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
  96     // import diffs and files directly (e.g. from osmosis --rri)
  97     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
  98     if (!file_exists($sNextFile)) {
  99         fail("Cannot open $sNextFile\n");
 100     }
 101
 102     // Import the file
 103     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 104     echo $sCMD."\n";
 105     exec($sCMD, $sJunk, $iErrorLevel);
 106
 107     if ($iErrorLevel) {
 108         fail("Error from osm2pgsql, $iErrorLevel\n");
 109     }
 110
 111     // Don't update the import status - we don't know what this file contains
 112 }
 113
 114 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 115 $bHaveDiff = false;
 116 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 117 $sContentURL = '';
 118 if (isset($aResult['import-node']) && $aResult['import-node']) {
 119     if ($bUseOSMApi) {
 120         $sContentURL = 'http://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 121     } else {
 122         $sContentURL = 'http://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 123     }
 124 }
 125
 126 if (isset($aResult['import-way']) && $aResult['import-way']) {
 127     if ($bUseOSMApi) {
 128         $sContentURL = 'http://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 129     } else {
 130         $sContentURL = 'http://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 131     }
 132 }
 133
 134 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 135     if ($bUseOSMApi) {
 136         $sContentURLsModifyXMLstr = 'http://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 137     } else {
 138         $sContentURL = 'http://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 139     }
 140 }
 141
 142 if ($sContentURL) {
 143     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 144     $bHaveDiff = true;
 145 }
 146
 147 if ($bHaveDiff) {
 148     // import generated change file
 149     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 150     echo $sCMD."\n";
 151     exec($sCMD, $sJunk, $iErrorLevel);
 152     if ($iErrorLevel) {
 153         fail("osm2pgsql exited with error level $iErrorLevel\n");
 154     }
 155 }
 156
 157 if ($aResult['deduplicate']) {
 158     $oDB =& getDB();
 159
 160     if (getPostgresVersion($oDB) < 9.3) {
 161         fail("ERROR: deduplicate is only currently supported in postgresql 9.3");
 162     }
 163
 164     $sSQL = 'select partition from country_name order by country_code';
 165     $aPartitions = chksql($oDB->getCol($sSQL));
 166     $aPartitions[] = 0;
 167
 168     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 169     foreach ($aPartitions as $i => $sPartition) {
 170         $sSQL = "select count(*) from search_name_".$sPartition;
 171         $nEntries = chksql($oDB->getOne($sSQL));
 172         if ($nEntries == 0) {
 173             unset($aPartitions[$i]);
 174         }
 175     }
 176
 177     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 178     $sSQL .= " and class is null and type is null and country_code is null";
 179     $sSQL .= " group by word_token having count(*) > 1 order by word_token";
 180     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 181     foreach ($aDuplicateTokens as $aToken) {
 182         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 183         echo "Deduping ".$aToken['word_token']."\n";
 184         $sSQL = "select word_id,";
 185         $sSQL .= " (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num";
 186         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 187         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 188         $aTokenSet = chksql($oDB->getAll($sSQL));
 189
 190         $aKeep = array_shift($aTokenSet);
 191         $iKeepID = $aKeep['word_id'];
 192
 193         foreach ($aTokenSet as $aRemove) {
 194             $sSQL = "update search_name set";
 195             $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID."),";
 196             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 197             $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 198             chksql($oDB->query($sSQL));
 199
 200             $sSQL = "update search_name set";
 201             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 202             $sSQL .= " where nameaddress_vector @> ARRAY[".$aRemove['word_id']."]";
 203             chksql($oDB->query($sSQL));
 204
 205             $sSQL = "update location_area_country set";
 206             $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 207             $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 208             chksql($oDB->query($sSQL));
 209
 210             foreach ($aPartitions as $sPartition) {
 211                 $sSQL = "update search_name_".$sPartition." set";
 212                 $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID.")";
 213                 $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 214                 chksql($oDB->query($sSQL));
 215
 216                 $sSQL = "update location_area_country set";
 217                 $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 218                 $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 219                 chksql($oDB->query($sSQL));
 220             }
 221
 222             $sSQL = "delete from word where word_id = ".$aRemove['word_id'];
 223             chksql($oDB->query($sSQL));
 224         }
 225     }
 226 }
 227
 228 if ($aResult['index']) {
 229     passthru(CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank']);
 230 }
 231
 232 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 233     //
 234     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 235         fail("Error: Update interval too low for download.geofabrik.de.  Please check install documentation (http://wiki.openstreetmap.org/wiki/Nominatim/Installation#Updates)\n");
 236     }
 237
 238     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 239     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 240     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 241     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 242
 243     while (true) {
 244         $fStartTime = time();
 245         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
 246
 247         if (!$aLastState['sequence_id']) {
 248             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 249             exit(1);
 250         }
 251
 252         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 253
 254         $sBatchEnd = $aLastState['lastimportdate'];
 255         $iEndSequence = $aLastState['sequence_id'];
 256
 257         if ($aLastState['indexed'] == 't') {
 258             // Sleep if the update interval has not yet been reached.
 259             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 260             if ($fNextUpdate > $fStartTime) {
 261                 $iSleepTime = $fNextUpdate - $fStartTime;
 262                 echo "Waiting for next update for $iSleepTime sec.";
 263                 sleep($iSleepTime);
 264             }
 265
 266             // Download the next batch of changes.
 267             do {
 268                 $fCMDStartTime = time();
 269                 $iNextSeq = (int) $aLastState['sequence_id'];
 270                 unset($aOutput);
 271                 echo "$sCMDDownload -I $iNextSeq\n";
 272                 unlink($sImportFile);
 273                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 274
 275                 if ($iResult == 3) {
 276                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 277                     sleep(CONST_Replication_Recheck_Interval);
 278                 } else if ($iResult != 0) {
 279                     echo 'ERROR: updates failed.';
 280                     exit($iResult);
 281                 } else {
 282                     $iEndSequence = (int)$aOutput[0];
 283                 }
 284             } while ($iResult);
 285
 286             // get the newest object from the diff file
 287             $sBatchEnd = 0;
 288             $iRet = 0;
 289             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 290             if ($iRet == 5) {
 291                 echo "Diff file is empty. skipping import.\n";
 292                 if (!$aResult['import-osmosis-all']) {
 293                     exit(0);
 294                 } else {
 295                     continue;
 296                 }
 297             }
 298             if ($iRet != 0) {
 299                 fail('Error getting date from diff file.');
 300             }
 301             $sBatchEnd = $sBatchEnd[0];
 302
 303             // Import the file
 304             $fCMDStartTime = time();
 305             echo $sCMDImport."\n";
 306             unset($sJunk);
 307             exec($sCMDImport, $sJunk, $iErrorLevel);
 308             if ($iErrorLevel) {
 309                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 310                 exit($iErrorLevel);
 311             }
 312
 313             // write the update logs
 314             $iFileSize = filesize($sImportFile);
 315             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','import')";
 316             var_Dump($sSQL);
 317             chksql($oDB->query($sSQL));
 318
 319             // update the status
 320             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 321             var_Dump($sSQL);
 322             chksql($oDB->query($sSQL));
 323             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 324         }
 325
 326         // Index file
 327         if (!$aResult['no-index']) {
 328             $sThisIndexCmd = $sCMDIndex;
 329             $fCMDStartTime = time();
 330
 331             echo "$sThisIndexCmd\n";
 332             exec($sThisIndexCmd, $sJunk, $iErrorLevel);
 333             if ($iErrorLevel) {
 334                 echo "Error: $iErrorLevel\n";
 335                 exit($iErrorLevel);
 336             }
 337
 338             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','index')";
 339             var_Dump($sSQL);
 340             $oDB->query($sSQL);
 341             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 342
 343             $sSQL = "update import_status set indexed = true";
 344             $oDB->query($sSQL);
 345         }
 346
 347         $fDuration = time() - $fStartTime;
 348         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 349         if (!$aResult['import-osmosis-all']) exit(0);
 350     }
 351 }
 352