utils/update.php

   1 #!/usr/bin/php -Cq
   2 <?php
   3
   4 require_once(dirname(dirname(__FILE__)).'/settings/settings.php');
   5 require_once(CONST_BasePath.'/lib/init-cmd.php');
   6 ini_set('memory_limit', '800M');
   7
   8 $aCMDOptions
   9 = array(
  10    "Import / update / index osm data",
  11    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  12    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  13    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  14
  15    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  16    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  17    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  18    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  19
  20    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  21
  22    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  23    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  24    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  25
  26    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  27    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  28    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  29    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  30
  31    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  32    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  33    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  34
  35    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  36    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolete)'),
  37   );
  38 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  39
  40 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  41
  42 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  43
  44 date_default_timezone_set('Etc/UTC');
  45
  46 $oDB =& getDB();
  47
  48 $aDSNInfo = DB::parseDSN(CONST_Database_DSN);
  49 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  50
  51 // cache memory to be used by osm2pgsql, should not be more than the available memory
  52 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  53 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  54     $iCacheMemory = getCacheMemoryMB();
  55     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  56 }
  57 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  58 if (!is_null(CONST_Osm2pgsql_Flatnode_File)) {
  59     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  60 }
  61
  62 if ($aResult['init-updates']) {
  63     // sanity check that the replication URL is correct
  64     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
  65     if ($sBaseState === false) {
  66         echo "\nCannot find state.txt file at the configured replication URL.\n";
  67         echo "Does the URL point to a directory containing OSM update data?\n\n";
  68         fail("replication URL not reachable.");
  69     }
  70     $sSetup = CONST_InstallPath.'/utils/setup.php';
  71     $iRet = -1;
  72     passthru($sSetup.' --create-functions --enable-diff-updates', $iRet);
  73     if ($iRet != 0) {
  74         fail('Error running setup script');
  75     }
  76
  77     $sDatabaseDate = getDatabaseDate($oDB);
  78     if ($sDatabaseDate === false) {
  79         fail("Cannot determine date of database.");
  80     }
  81     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ',
  82                           strtotime($sDatabaseDate) - (3*60*60));
  83
  84     // get the appropriate state id
  85     $aOutput = 0;
  86     $sCmd = CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url;
  87     exec($sCmd, $aOutput, $iRet);
  88     if ($iRet != 0 || $aOutput[0] == 'None') {
  89         fail('Error running pyosmium tools');
  90     }
  91
  92     pg_query($oDB->connection, 'TRUNCATE import_status');
  93     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
  94     $sSQL .= $sDatabaseDate."',".$aOutput[0].", true)";
  95     if (!pg_query($oDB->connection, $sSQL)) {
  96         fail("Could not enter sequence into database.");
  97     }
  98
  99     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 100 }
 101
 102 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 103     // import diffs and files directly (e.g. from osmosis --rri)
 104     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 105
 106     if (!file_exists($sNextFile)) {
 107         fail("Cannot open $sNextFile\n");
 108     }
 109
 110     // Import the file
 111     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 112     echo $sCMD."\n";
 113     exec($sCMD, $sJunk, $iErrorLevel);
 114
 115     if ($iErrorLevel) {
 116         fail("Error from osm2pgsql, $iErrorLevel\n");
 117     }
 118
 119     // Don't update the import status - we don't know what this file contains
 120 }
 121
 122 if ($aResult['calculate-postcodes']) {
 123     info("Update postcodes centroids");
 124     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 125     runSQLScript($sTemplate, true, true);
 126 }
 127
 128 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 129 $bHaveDiff = false;
 130 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 131 $sContentURL = '';
 132 if (isset($aResult['import-node']) && $aResult['import-node']) {
 133     if ($bUseOSMApi) {
 134         $sContentURL = 'http://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 135     } else {
 136         $sContentURL = 'http://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 137     }
 138 }
 139
 140 if (isset($aResult['import-way']) && $aResult['import-way']) {
 141     if ($bUseOSMApi) {
 142         $sContentURL = 'http://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 143     } else {
 144         $sContentURL = 'http://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 145     }
 146 }
 147
 148 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 149     if ($bUseOSMApi) {
 150         $sContentURLsModifyXMLstr = 'http://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 151     } else {
 152         $sContentURL = 'http://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 153     }
 154 }
 155
 156 if ($sContentURL) {
 157     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 158     $bHaveDiff = true;
 159 }
 160
 161 if ($bHaveDiff) {
 162     // import generated change file
 163     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 164     echo $sCMD."\n";
 165     exec($sCMD, $sJunk, $iErrorLevel);
 166     if ($iErrorLevel) {
 167         fail("osm2pgsql exited with error level $iErrorLevel\n");
 168     }
 169 }
 170
 171 if ($aResult['deduplicate']) {
 172     $oDB =& getDB();
 173
 174     if (getPostgresVersion($oDB) < 9.3) {
 175         fail("ERROR: deduplicate is only currently supported in postgresql 9.3");
 176     }
 177
 178     $sSQL = 'select partition from country_name order by country_code';
 179     $aPartitions = chksql($oDB->getCol($sSQL));
 180     $aPartitions[] = 0;
 181
 182     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 183     foreach ($aPartitions as $i => $sPartition) {
 184         $sSQL = "select count(*) from search_name_".$sPartition;
 185         $nEntries = chksql($oDB->getOne($sSQL));
 186         if ($nEntries == 0) {
 187             unset($aPartitions[$i]);
 188         }
 189     }
 190
 191     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 192     $sSQL .= " and class is null and type is null and country_code is null";
 193     $sSQL .= " group by word_token having count(*) > 1 order by word_token";
 194     $aDuplicateTokens = chksql($oDB->getAll($sSQL));
 195     foreach ($aDuplicateTokens as $aToken) {
 196         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 197         echo "Deduping ".$aToken['word_token']."\n";
 198         $sSQL = "select word_id,";
 199         $sSQL .= " (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num";
 200         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 201         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 202         $aTokenSet = chksql($oDB->getAll($sSQL));
 203
 204         $aKeep = array_shift($aTokenSet);
 205         $iKeepID = $aKeep['word_id'];
 206
 207         foreach ($aTokenSet as $aRemove) {
 208             $sSQL = "update search_name set";
 209             $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID."),";
 210             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 211             $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 212             chksql($oDB->query($sSQL));
 213
 214             $sSQL = "update search_name set";
 215             $sSQL .= " nameaddress_vector = array_replace(nameaddress_vector,".$aRemove['word_id'].",".$iKeepID.")";
 216             $sSQL .= " where nameaddress_vector @> ARRAY[".$aRemove['word_id']."]";
 217             chksql($oDB->query($sSQL));
 218
 219             $sSQL = "update location_area_country set";
 220             $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 221             $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 222             chksql($oDB->query($sSQL));
 223
 224             foreach ($aPartitions as $sPartition) {
 225                 $sSQL = "update search_name_".$sPartition." set";
 226                 $sSQL .= " name_vector = array_replace(name_vector,".$aRemove['word_id'].",".$iKeepID.")";
 227                 $sSQL .= " where name_vector @> ARRAY[".$aRemove['word_id']."]";
 228                 chksql($oDB->query($sSQL));
 229
 230                 $sSQL = "update location_area_country set";
 231                 $sSQL .= " keywords = array_replace(keywords,".$aRemove['word_id'].",".$iKeepID.")";
 232                 $sSQL .= " where keywords @> ARRAY[".$aRemove['word_id']."]";
 233                 chksql($oDB->query($sSQL));
 234             }
 235
 236             $sSQL = "delete from word where word_id = ".$aRemove['word_id'];
 237             chksql($oDB->query($sSQL));
 238         }
 239     }
 240 }
 241
 242 if ($aResult['index']) {
 243     passthru(CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank']);
 244 }
 245
 246 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 247     //
 248     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 249         fail("Error: Update interval too low for download.geofabrik.de.  Please check install documentation (http://wiki.openstreetmap.org/wiki/Nominatim/Installation#Updates)\n");
 250     }
 251
 252     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 253     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 254     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 255     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 256
 257     while (true) {
 258         $fStartTime = time();
 259         $aLastState = chksql($oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status'));
 260
 261         if (!$aLastState['sequence_id']) {
 262             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 263             exit(1);
 264         }
 265
 266         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 267
 268         $sBatchEnd = $aLastState['lastimportdate'];
 269         $iEndSequence = $aLastState['sequence_id'];
 270
 271         if ($aLastState['indexed'] == 't') {
 272             // Sleep if the update interval has not yet been reached.
 273             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 274             if ($fNextUpdate > $fStartTime) {
 275                 $iSleepTime = $fNextUpdate - $fStartTime;
 276                 echo "Waiting for next update for $iSleepTime sec.";
 277                 sleep($iSleepTime);
 278             }
 279
 280             // Download the next batch of changes.
 281             do {
 282                 $fCMDStartTime = time();
 283                 $iNextSeq = (int) $aLastState['sequence_id'];
 284                 unset($aOutput);
 285                 echo "$sCMDDownload -I $iNextSeq\n";
 286                 unlink($sImportFile);
 287                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 288
 289                 if ($iResult == 3) {
 290                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 291                     sleep(CONST_Replication_Recheck_Interval);
 292                 } else if ($iResult != 0) {
 293                     echo 'ERROR: updates failed.';
 294                     exit($iResult);
 295                 } else {
 296                     $iEndSequence = (int)$aOutput[0];
 297                 }
 298             } while ($iResult);
 299
 300             // get the newest object from the diff file
 301             $sBatchEnd = 0;
 302             $iRet = 0;
 303             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 304             if ($iRet == 5) {
 305                 echo "Diff file is empty. skipping import.\n";
 306                 if (!$aResult['import-osmosis-all']) {
 307                     exit(0);
 308                 } else {
 309                     continue;
 310                 }
 311             }
 312             if ($iRet != 0) {
 313                 fail('Error getting date from diff file.');
 314             }
 315             $sBatchEnd = $sBatchEnd[0];
 316
 317             // Import the file
 318             $fCMDStartTime = time();
 319             echo $sCMDImport."\n";
 320             unset($sJunk);
 321             exec($sCMDImport, $sJunk, $iErrorLevel);
 322             if ($iErrorLevel) {
 323                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 324                 exit($iErrorLevel);
 325             }
 326
 327             // write the update logs
 328             $iFileSize = filesize($sImportFile);
 329             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','import')";
 330             var_Dump($sSQL);
 331             chksql($oDB->query($sSQL));
 332
 333             // update the status
 334             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 335             var_Dump($sSQL);
 336             chksql($oDB->query($sSQL));
 337             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 338         }
 339
 340         // Index file
 341         if (!$aResult['no-index']) {
 342             $sThisIndexCmd = $sCMDIndex;
 343             $fCMDStartTime = time();
 344
 345             echo "$sThisIndexCmd\n";
 346             exec($sThisIndexCmd, $sJunk, $iErrorLevel);
 347             if ($iErrorLevel) {
 348                 echo "Error: $iErrorLevel\n";
 349                 exit($iErrorLevel);
 350             }
 351
 352             $sSQL = "INSERT INTO import_osmosis_log (batchend, batchseq, batchsize, starttime, endtime, event) values ('$sBatchEnd',$iEndSequence,$iFileSize,'".date('Y-m-d H:i:s', $fCMDStartTime)."','".date('Y-m-d H:i:s')."','index')";
 353             var_Dump($sSQL);
 354             $oDB->query($sSQL);
 355             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 356
 357             $sSQL = "update import_status set indexed = true";
 358             $oDB->query($sSQL);
 359         }
 360
 361         $fDuration = time() - $fStartTime;
 362         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 363         if (!$aResult['import-osmosis-all']) exit(0);
 364     }
 365 }
 366