utils/update.php

   1 <?php
   2
   3 require_once(CONST_BasePath.'/lib/init-cmd.php');
   4 require_once(CONST_BasePath.'/lib/setup_functions.php');
   5 require_once(CONST_BasePath.'/lib/setup/SetupClass.php');
   6 require_once(CONST_BasePath.'/lib/setup/AddressLevelParser.php');
   7
   8 ini_set('memory_limit', '800M');
   9
  10 use Nominatim\Setup\SetupFunctions as SetupFunctions;
  11
  12 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
  13 $aCMDOptions
  14 = array(
  15    'Import / update / index osm data',
  16    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  17    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  18    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  19
  20    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  21    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
  22    array('no-update-functions', '', 0, 1, 0, 0, 'bool', 'Do not update trigger functions to support differential updates (assuming the diff update logic is already present)'),
  23    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  24    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  25    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  26
  27    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  28
  29    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  30    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  31    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  32
  33    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  34    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  35    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  36    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  37
  38    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  39    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  40    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  41
  42    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  43    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
  44    array('update-address-levels', '', 0, 1, 0, 0, 'bool', 'Reimport address level configuration (EXPERT)'),
  45    array('recompute-importance', '', 0, 1, 0, 0, 'bool', 'Recompute place importances'),
  46    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolete)'),
  47   );
  48
  49 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  50
  51 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  52 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  53
  54 date_default_timezone_set('Etc/UTC');
  55
  56 $oDB = new Nominatim\DB();
  57 $oDB->connect();
  58 $fPostgresVersion = $oDB->getPostgresVersion();
  59
  60 $aDSNInfo = Nominatim\DB::parseDSN(CONST_Database_DSN);
  61 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  62
  63 // cache memory to be used by osm2pgsql, should not be more than the available memory
  64 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  65 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  66     $iCacheMemory = getCacheMemoryMB();
  67     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  68 }
  69
  70 $oOsm2pgsqlCmd = (new \Nominatim\Shell(CONST_Osm2pgsql_Binary))
  71                  ->addParams('--hstore')
  72                  ->addParams('--latlong')
  73                  ->addParams('--append')
  74                  ->addParams('--slim')
  75                  ->addParams('--number-processes', 1)
  76                  ->addParams('--cache', $iCacheMemory)
  77                  ->addParams('--output', 'gazetteer')
  78                  ->addParams('--style', CONST_Import_Style)
  79                  ->addParams('--database', $aDSNInfo['database'])
  80                  ->addParams('--port', $aDSNInfo['port']);
  81
  82 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
  83     $oOsm2pgsqlCmd->addParams('--host', $aDSNInfo['hostspec']);
  84 }
  85 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
  86     $oOsm2pgsqlCmd->addParams('--user', $aDSNInfo['username']);
  87 }
  88 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
  89     $oOsm2pgsqlCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
  90 }
  91 if (!is_null(CONST_Osm2pgsql_Flatnode_File) && CONST_Osm2pgsql_Flatnode_File) {
  92     $oOsm2pgsqlCmd->addParams('--flat-nodes', CONST_Osm2pgsql_Flatnode_File);
  93 }
  94 if ($fPostgresVersion >= 11.0) {
  95     $oOsm2pgsqlCmd->addEnvPair(
  96         'PGOPTIONS',
  97         '-c jit=off -c max_parallel_workers_per_gather=0'
  98     );
  99 }
 100
 101
 102 $oIndexCmd = (new \Nominatim\Shell(CONST_BasePath.'/nominatim/nominatim.py'))
 103              ->addParams('--database', $aDSNInfo['database'])
 104              ->addParams('--port', $aDSNInfo['port'])
 105              ->addParams('--threads', $aResult['index-instances']);
 106
 107 if ($aResult['verbose']) {
 108     $oIndexCmd->addParams('--verbose');
 109 }
 110 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 111     $oIndexCmd->addParams('--host', $aDSNInfo['hostspec']);
 112 }
 113 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 114     $oIndexCmd->addParams('--username', $aDSNInfo['username']);
 115 }
 116 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
 117     $oIndexCmd->addEnvPair('PGPASSWORD', $aDSNInfo['password']);
 118 }
 119
 120
 121 if ($aResult['init-updates']) {
 122     // sanity check that the replication URL is correct
 123     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
 124     if ($sBaseState === false) {
 125         echo "\nCannot find state.txt file at the configured replication URL.\n";
 126         echo "Does the URL point to a directory containing OSM update data?\n\n";
 127         fail('replication URL not reachable.');
 128     }
 129     // sanity check for pyosmium-get-changes
 130     if (!CONST_Pyosmium_Binary) {
 131         echo "\nCONST_Pyosmium_Binary not configured.\n";
 132         echo "You need to install pyosmium and set up the path to pyosmium-get-changes\n";
 133         echo "in your local settings file.\n\n";
 134         fail('CONST_Pyosmium_Binary not configured');
 135     }
 136
 137     $aOutput = 0;
 138     $oCMD = new \Nominatim\Shell(CONST_Pyosmium_Binary, '--help');
 139     exec($oCMD->escapedCmd(), $aOutput, $iRet);
 140
 141     if ($iRet != 0) {
 142         echo "Cannot execute pyosmium-get-changes.\n";
 143         echo "Make sure you have pyosmium installed correctly\n";
 144         echo "and have set up CONST_Pyosmium_Binary to point to pyosmium-get-changes.\n";
 145         fail('pyosmium-get-changes not found or not usable');
 146     }
 147
 148     if (!$aResult['no-update-functions']) {
 149         // instantiate setupClass to use the function therein
 150         $cSetup = new SetupFunctions(array(
 151                                       'enable-diff-updates' => true,
 152                                       'verbose' => $aResult['verbose']
 153                                      ));
 154         $cSetup->createFunctions();
 155     }
 156
 157     $sDatabaseDate = getDatabaseDate($oDB);
 158     if (!$sDatabaseDate) {
 159         fail('Cannot determine date of database.');
 160     }
 161     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
 162
 163     // get the appropriate state id
 164     $aOutput = 0;
 165     $oCMD = (new \Nominatim\Shell(CONST_Pyosmium_Binary))
 166             ->addParams('--start-date', $sWindBack)
 167             ->addParams('--server', CONST_Replication_Url);
 168
 169     exec($oCMD->escapedCmd(), $aOutput, $iRet);
 170     if ($iRet != 0 || $aOutput[0] == 'None') {
 171         fail('Error running pyosmium tools');
 172     }
 173
 174     $oDB->exec('TRUNCATE import_status');
 175     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
 176     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
 177
 178     try {
 179         $oDB->exec($sSQL);
 180     } catch (\Nominatim\DatabaseError $e) {
 181         fail('Could not enter sequence into database.');
 182     }
 183
 184     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 185 }
 186
 187 if ($aResult['check-for-updates']) {
 188     $aLastState = $oDB->getRow('SELECT sequence_id FROM import_status');
 189
 190     if (!$aLastState['sequence_id']) {
 191         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
 192     }
 193
 194     $oCmd = (new \Nominatim\Shell(CONST_BasePath.'/utils/check_server_for_updates.py'))
 195             ->addParams(CONST_Replication_Url)
 196             ->addParams($aLastState['sequence_id']);
 197     $iRet = $oCmd->run();
 198
 199     exit($iRet);
 200 }
 201
 202 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 203     // import diffs and files directly (e.g. from osmosis --rri)
 204     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 205
 206     if (!file_exists($sNextFile)) {
 207         fail("Cannot open $sNextFile\n");
 208     }
 209
 210     // Import the file
 211     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sNextFile);
 212     echo $oCMD->escapedCmd()."\n";
 213     $iRet = $oCMD->run();
 214
 215     if ($iRet) {
 216         fail("Error from osm2pgsql, $iRet\n");
 217     }
 218
 219     // Don't update the import status - we don't know what this file contains
 220 }
 221
 222 if ($aResult['calculate-postcodes']) {
 223     info('Update postcodes centroids');
 224     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 225     runSQLScript($sTemplate, true, true);
 226 }
 227
 228 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 229 $bHaveDiff = false;
 230 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 231 $sContentURL = '';
 232 if (isset($aResult['import-node']) && $aResult['import-node']) {
 233     if ($bUseOSMApi) {
 234         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 235     } else {
 236         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 237     }
 238 }
 239
 240 if (isset($aResult['import-way']) && $aResult['import-way']) {
 241     if ($bUseOSMApi) {
 242         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 243     } else {
 244         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 245     }
 246 }
 247
 248 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 249     if ($bUseOSMApi) {
 250         $sContentURLsModifyXMLstr = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 251     } else {
 252         $sContentURL = 'https://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 253     }
 254 }
 255
 256 if ($sContentURL) {
 257     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 258     $bHaveDiff = true;
 259 }
 260
 261 if ($bHaveDiff) {
 262     // import generated change file
 263
 264     $oCMD = (clone $oOsm2pgsqlCmd)->addParams($sTemporaryFile);
 265     echo $oCMD->escapedCmd()."\n";
 266
 267     $iRet = $oCMD->run();
 268     if ($iRet) {
 269         fail("osm2pgsql exited with error level $iRet\n");
 270     }
 271 }
 272
 273 if ($aResult['deduplicate']) {
 274     $oDB = new Nominatim\DB();
 275     $oDB->connect();
 276
 277     if ($oDB->getPostgresVersion() < 9.3) {
 278         fail('ERROR: deduplicate is only currently supported in postgresql 9.3');
 279     }
 280
 281     $sSQL = 'select partition from country_name order by country_code';
 282     $aPartitions = $oDB->getCol($sSQL);
 283     $aPartitions[] = 0;
 284
 285     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 286     foreach ($aPartitions as $i => $sPartition) {
 287         $sSQL = 'select count(*) from search_name_'.$sPartition;
 288         $nEntries = $oDB->getOne($sSQL);
 289         if ($nEntries == 0) {
 290             unset($aPartitions[$i]);
 291         }
 292     }
 293
 294     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 295     $sSQL .= ' and class is null and type is null and country_code is null';
 296     $sSQL .= ' group by word_token having count(*) > 1 order by word_token';
 297     $aDuplicateTokens = $oDB->getAll($sSQL);
 298     foreach ($aDuplicateTokens as $aToken) {
 299         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 300         echo 'Deduping '.$aToken['word_token']."\n";
 301         $sSQL = 'select word_id,';
 302         $sSQL .= ' (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num';
 303         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 304         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 305         $aTokenSet = $oDB->getAll($sSQL);
 306
 307         $aKeep = array_shift($aTokenSet);
 308         $iKeepID = $aKeep['word_id'];
 309
 310         foreach ($aTokenSet as $aRemove) {
 311             $sSQL = 'update search_name set';
 312             $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.'),';
 313             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 314             $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 315             $oDB->exec($sSQL);
 316
 317             $sSQL = 'update search_name set';
 318             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 319             $sSQL .= ' where nameaddress_vector @> ARRAY['.$aRemove['word_id'].']';
 320             $oDB->exec($sSQL);
 321
 322             $sSQL = 'update location_area_country set';
 323             $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 324             $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 325             $oDB->exec($sSQL);
 326
 327             foreach ($aPartitions as $sPartition) {
 328                 $sSQL = 'update search_name_'.$sPartition.' set';
 329                 $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 330                 $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 331                 $oDB->exec($sSQL);
 332
 333                 $sSQL = 'update location_area_country set';
 334                 $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 335                 $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 336                 $oDB->exec($sSQL);
 337             }
 338
 339             $sSQL = 'delete from word where word_id = '.$aRemove['word_id'];
 340             $oDB->exec($sSQL);
 341         }
 342     }
 343 }
 344
 345 if ($aResult['recompute-word-counts']) {
 346     info('Recompute frequency of full-word search terms');
 347     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
 348     runSQLScript($sTemplate, true, true);
 349 }
 350
 351 if ($aResult['index']) {
 352     $oCmd = (clone $oIndexCmd)
 353             ->addParams('--minrank', $aResult['index-rank']);
 354
 355     // echo $oCmd->escapedCmd()."\n";
 356     $oCmd->run();
 357
 358     $oDB->exec('update import_status set indexed = true');
 359 }
 360
 361 if ($aResult['update-address-levels']) {
 362     echo 'Updating address levels from '.CONST_Address_Level_Config.".\n";
 363     $oAlParser = new \Nominatim\Setup\AddressLevelParser(CONST_Address_Level_Config);
 364     $oAlParser->createTable($oDB, 'address_levels');
 365 }
 366
 367 if ($aResult['recompute-importance']) {
 368     echo "Updating importance values for database.\n";
 369     $oDB = new Nominatim\DB();
 370     $oDB->connect();
 371
 372     $sSQL = 'ALTER TABLE placex DISABLE TRIGGER ALL;';
 373     $sSQL .= 'UPDATE placex SET (wikipedia, importance) =';
 374     $sSQL .= '   (SELECT wikipedia, importance';
 375     $sSQL .= '    FROM compute_importance(extratags, country_code, osm_type, osm_id));';
 376     $sSQL .= 'UPDATE placex s SET wikipedia = d.wikipedia, importance = d.importance';
 377     $sSQL .= ' FROM placex d';
 378     $sSQL .= ' WHERE s.place_id = d.linked_place_id and d.wikipedia is not null';
 379     $sSQL .= '       and (s.wikipedia is null or s.importance < d.importance);';
 380     $sSQL .= 'ALTER TABLE placex ENABLE TRIGGER ALL;';
 381     $oDB->exec($sSQL);
 382 }
 383
 384 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 385     //
 386     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 387         fail('Error: Update interval too low for download.geofabrik.de. ' .
 388              "Please check install documentation (https://nominatim.org/release-docs/latest/admin/Import-and-Update#setting-up-the-update-process)\n");
 389     }
 390
 391     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 392
 393     $oCMDDownload = (new \Nominatim\Shell(CONST_Pyosmium_Binary))
 394                     ->addParams('--server', CONST_Replication_Url)
 395                     ->addParams('--outfile', $sImportFile)
 396                     ->addParams('--size', CONST_Replication_Max_Diff_size);
 397
 398     $oCMDImport = (clone $oOsm2pgsqlCmd)->addParams($sImportFile);
 399
 400     while (true) {
 401         $fStartTime = time();
 402         $aLastState = $oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status');
 403
 404         if (!$aLastState['sequence_id']) {
 405             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 406             exit(1);
 407         }
 408
 409         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 410
 411         $sBatchEnd = $aLastState['lastimportdate'];
 412         $iEndSequence = $aLastState['sequence_id'];
 413
 414         if ($aLastState['indexed']) {
 415             // Sleep if the update interval has not yet been reached.
 416             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 417             if ($fNextUpdate > $fStartTime) {
 418                 $iSleepTime = $fNextUpdate - $fStartTime;
 419                 echo "Waiting for next update for $iSleepTime sec.";
 420                 sleep($iSleepTime);
 421             }
 422
 423             // Download the next batch of changes.
 424             do {
 425                 $fCMDStartTime = time();
 426                 $iNextSeq = (int) $aLastState['sequence_id'];
 427                 unset($aOutput);
 428
 429                 $oCMD = (clone $oCMDDownload)->addParams('--start-id', $iNextSeq);
 430                 echo $oCMD->escapedCmd()."\n";
 431                 if (file_exists($sImportFile)) {
 432                     unlink($sImportFile);
 433                 }
 434                 exec($oCMD->escapedCmd(), $aOutput, $iResult);
 435
 436                 if ($iResult == 3) {
 437                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 438                     sleep(CONST_Replication_Recheck_Interval);
 439                 } elseif ($iResult != 0) {
 440                     echo 'ERROR: updates failed.';
 441                     exit($iResult);
 442                 } else {
 443                     $iEndSequence = (int)$aOutput[0];
 444                 }
 445             } while ($iResult);
 446
 447             // get the newest object from the diff file
 448             $sBatchEnd = 0;
 449             $iRet = 0;
 450             $oCMD = new \Nominatim\Shell(CONST_BasePath.'/utils/osm_file_date.py', $sImportFile);
 451             exec($oCMD->escapedCmd(), $sBatchEnd, $iRet);
 452             if ($iRet == 5) {
 453                 echo "Diff file is empty. skipping import.\n";
 454                 if (!$aResult['import-osmosis-all']) {
 455                     exit(0);
 456                 } else {
 457                     continue;
 458                 }
 459             }
 460             if ($iRet != 0) {
 461                 fail('Error getting date from diff file.');
 462             }
 463             $sBatchEnd = $sBatchEnd[0];
 464
 465             // Import the file
 466             $fCMDStartTime = time();
 467
 468
 469             echo $oCMDImport->escapedCmd()."\n";
 470             unset($sJunk);
 471             $iErrorLevel = $oCMDImport->run();
 472             if ($iErrorLevel) {
 473                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 474                 exit($iErrorLevel);
 475             }
 476
 477             // write the update logs
 478             $iFileSize = filesize($sImportFile);
 479             $sSQL = 'INSERT INTO import_osmosis_log';
 480             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 481             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 482             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 483             $sSQL .= date('Y-m-d H:i:s')."','import')";
 484             var_Dump($sSQL);
 485             $oDB->exec($sSQL);
 486
 487             // update the status
 488             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 489             var_Dump($sSQL);
 490             $oDB->exec($sSQL);
 491             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 492         }
 493
 494         // Index file
 495         if (!$aResult['no-index']) {
 496             $oThisIndexCmd = clone($oIndexCmd);
 497             $fCMDStartTime = time();
 498
 499             echo $oThisIndexCmd->escapedCmd()."\n";
 500             $iErrorLevel = $oThisIndexCmd->run();
 501             if ($iErrorLevel) {
 502                 echo "Error: $iErrorLevel\n";
 503                 exit($iErrorLevel);
 504             }
 505
 506             $sSQL = 'INSERT INTO import_osmosis_log';
 507             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 508             $sSQL .= " values ('$sBatchEnd',$iEndSequence,NULL,'";
 509             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 510             $sSQL .= date('Y-m-d H:i:s')."','index')";
 511             var_Dump($sSQL);
 512             $oDB->exec($sSQL);
 513             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 514
 515             $sSQL = 'update import_status set indexed = true';
 516             $oDB->exec($sSQL);
 517         } else {
 518             if ($aResult['import-osmosis-all']) {
 519                 echo "Error: --no-index cannot be used with continuous imports (--import-osmosis-all).\n";
 520                 exit(1);
 521             }
 522         }
 523
 524         $fDuration = time() - $fStartTime;
 525         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 526         if (!$aResult['import-osmosis-all']) exit(0);
 527     }
 528 }