utils/update.php

   1 <?php
   2
   3 require_once(CONST_BasePath.'/lib/init-cmd.php');
   4 require_once(CONST_BasePath.'/lib/setup_functions.php');
   5 require_once(CONST_BasePath.'/lib/setup/SetupClass.php');
   6 require_once(CONST_BasePath.'/lib/setup/AddressLevelParser.php');
   7
   8 ini_set('memory_limit', '800M');
   9
  10 use Nominatim\Setup\SetupFunctions as SetupFunctions;
  11
  12 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
  13 $aCMDOptions
  14 = array(
  15    'Import / update / index osm data',
  16    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  17    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  18    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  19
  20    array('init-updates', '', 0, 1, 0, 0, 'bool', 'Set up database for updating'),
  21    array('check-for-updates', '', 0, 1, 0, 0, 'bool', 'Check if new updates are available'),
  22    array('no-update-functions', '', 0, 1, 0, 0, 'bool', 'Do not update trigger functions to support differential updates (assuming the diff update logic is already present)'),
  23    array('import-osmosis', '', 0, 1, 0, 0, 'bool', 'Import updates once'),
  24    array('import-osmosis-all', '', 0, 1, 0, 0, 'bool', 'Import updates forever'),
  25    array('no-index', '', 0, 1, 0, 0, 'bool', 'Do not index the new data'),
  26
  27    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Update postcode centroid table'),
  28
  29    array('import-file', '', 0, 1, 1, 1, 'realpath', 'Re-import data from an OSM file'),
  30    array('import-diff', '', 0, 1, 1, 1, 'realpath', 'Import a diff (osc) file from local file system'),
  31    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  32
  33    array('import-node', '', 0, 1, 1, 1, 'int', 'Re-import node'),
  34    array('import-way', '', 0, 1, 1, 1, 'int', 'Re-import way'),
  35    array('import-relation', '', 0, 1, 1, 1, 'int', 'Re-import relation'),
  36    array('import-from-main-api', '', 0, 1, 0, 0, 'bool', 'Use OSM API instead of Overpass to download objects'),
  37
  38    array('index', '', 0, 1, 0, 0, 'bool', 'Index'),
  39    array('index-rank', '', 0, 1, 1, 1, 'int', 'Rank to start indexing from'),
  40    array('index-instances', '', 0, 1, 1, 1, 'int', 'Number of indexing instances (threads)'),
  41
  42    array('deduplicate', '', 0, 1, 0, 0, 'bool', 'Deduplicate tokens'),
  43    array('recompute-word-counts', '', 0, 1, 0, 0, 'bool', 'Compute frequency of full-word search terms'),
  44    array('update-address-levels', '', 0, 1, 0, 0, 'bool', 'Reimport address level configuration (EXPERT)'),
  45    array('recompute-importance', '', 0, 1, 0, 0, 'bool', 'Recompute place importances'),
  46    array('no-npi', '', 0, 1, 0, 0, 'bool', '(obsolete)'),
  47   );
  48
  49 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aResult, true, true);
  50
  51 if (!isset($aResult['index-instances'])) $aResult['index-instances'] = 1;
  52 if (!isset($aResult['index-rank'])) $aResult['index-rank'] = 0;
  53
  54 date_default_timezone_set('Etc/UTC');
  55
  56 $oDB = new Nominatim\DB();
  57 $oDB->connect();
  58
  59 $aDSNInfo = Nominatim\DB::parseDSN(CONST_Database_DSN);
  60 if (!isset($aDSNInfo['port']) || !$aDSNInfo['port']) $aDSNInfo['port'] = 5432;
  61
  62 // cache memory to be used by osm2pgsql, should not be more than the available memory
  63 $iCacheMemory = (isset($aResult['osm2pgsql-cache'])?$aResult['osm2pgsql-cache']:2000);
  64 if ($iCacheMemory + 500 > getTotalMemoryMB()) {
  65     $iCacheMemory = getCacheMemoryMB();
  66     echo "WARNING: resetting cache memory to $iCacheMemory\n";
  67 }
  68 $sOsm2pgsqlCmd = CONST_Osm2pgsql_Binary.' -klas --number-processes 1 -C '.$iCacheMemory.' -O gazetteer -S '.CONST_Import_Style.' -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'];
  69 if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
  70     $sOsm2pgsqlCmd .= ' -U ' . $aDSNInfo['username'];
  71 }
  72 if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
  73     $sOsm2pgsqlCmd .= ' -H ' . $aDSNInfo['hostspec'];
  74 }
  75 $aProcEnv = null;
  76 if (isset($aDSNInfo['password']) && $aDSNInfo['password']) {
  77     $aProcEnv = array_merge(array('PGPASSWORD' => $aDSNInfo['password']), $_ENV);
  78 }
  79
  80 if (!is_null(CONST_Osm2pgsql_Flatnode_File) && CONST_Osm2pgsql_Flatnode_File) {
  81     $sOsm2pgsqlCmd .= ' --flat-nodes '.CONST_Osm2pgsql_Flatnode_File;
  82 }
  83
  84 if ($aResult['init-updates']) {
  85     // sanity check that the replication URL is correct
  86     $sBaseState = file_get_contents(CONST_Replication_Url.'/state.txt');
  87     if ($sBaseState === false) {
  88         echo "\nCannot find state.txt file at the configured replication URL.\n";
  89         echo "Does the URL point to a directory containing OSM update data?\n\n";
  90         fail('replication URL not reachable.');
  91     }
  92     // sanity check for pyosmium-get-changes
  93     if (!CONST_Pyosmium_Binary) {
  94         echo "\nCONST_Pyosmium_Binary not configured.\n";
  95         echo "You need to install pyosmium and set up the path to pyosmium-get-changes\n";
  96         echo "in your local settings file.\n\n";
  97         fail('CONST_Pyosmium_Binary not configured');
  98     }
  99     $aOutput = 0;
 100     $sCmd = CONST_Pyosmium_Binary.' --help';
 101     exec($sCmd, $aOutput, $iRet);
 102     if ($iRet != 0) {
 103         echo "Cannot execute pyosmium-get-changes.\n";
 104         echo "Make sure you have pyosmium installed correctly\n";
 105         echo "and have set up CONST_Pyosmium_Binary to point to pyosmium-get-changes.\n";
 106         fail('pyosmium-get-changes not found or not usable');
 107     }
 108
 109     if (!$aResult['no-update-functions']) {
 110         // instantiate setupClass to use the function therein
 111         $cSetup = new SetupFunctions(array(
 112                                       'enable-diff-updates' => true,
 113                                       'verbose' => $aResult['verbose']
 114                                      ));
 115         $cSetup->connect();
 116         $cSetup->createFunctions();
 117     }
 118
 119     $sDatabaseDate = getDatabaseDate($oDB);
 120     if (!$sDatabaseDate) {
 121         fail('Cannot determine date of database.');
 122     }
 123     $sWindBack = strftime('%Y-%m-%dT%H:%M:%SZ', strtotime($sDatabaseDate) - (3*60*60));
 124
 125     // get the appropriate state id
 126     $aOutput = 0;
 127     $sCmd = CONST_Pyosmium_Binary.' -D '.$sWindBack.' --server '.CONST_Replication_Url;
 128     exec($sCmd, $aOutput, $iRet);
 129     if ($iRet != 0 || $aOutput[0] == 'None') {
 130         fail('Error running pyosmium tools');
 131     }
 132
 133     $oDB->exec('TRUNCATE import_status');
 134     $sSQL = "INSERT INTO import_status (lastimportdate, sequence_id, indexed) VALUES('";
 135     $sSQL .= $sDatabaseDate."',".$aOutput[0].', true)';
 136
 137     try {
 138         $oDB->exec($sSQL);
 139     } catch (\Nominatim\DatabaseError $e) {
 140         fail('Could not enter sequence into database.');
 141     }
 142
 143     echo "Done. Database updates will start at sequence $aOutput[0] ($sWindBack)\n";
 144 }
 145
 146 if ($aResult['check-for-updates']) {
 147     $aLastState = $oDB->getRow('SELECT sequence_id FROM import_status');
 148
 149     if (!$aLastState['sequence_id']) {
 150         fail('Updates not set up. Please run ./utils/update.php --init-updates.');
 151     }
 152
 153     system(CONST_BasePath.'/utils/check_server_for_updates.py '.CONST_Replication_Url.' '.$aLastState['sequence_id'], $iRet);
 154     exit($iRet);
 155 }
 156
 157 if (isset($aResult['import-diff']) || isset($aResult['import-file'])) {
 158     // import diffs and files directly (e.g. from osmosis --rri)
 159     $sNextFile = isset($aResult['import-diff']) ? $aResult['import-diff'] : $aResult['import-file'];
 160
 161     if (!file_exists($sNextFile)) {
 162         fail("Cannot open $sNextFile\n");
 163     }
 164
 165     // Import the file
 166     $sCMD = $sOsm2pgsqlCmd.' '.$sNextFile;
 167     echo $sCMD."\n";
 168     $iErrorLevel = runWithEnv($sCMD, $aProcEnv);
 169
 170     if ($iErrorLevel) {
 171         fail("Error from osm2pgsql, $iErrorLevel\n");
 172     }
 173
 174     // Don't update the import status - we don't know what this file contains
 175 }
 176
 177 if ($aResult['calculate-postcodes']) {
 178     info('Update postcodes centroids');
 179     $sTemplate = file_get_contents(CONST_BasePath.'/sql/update-postcodes.sql');
 180     runSQLScript($sTemplate, true, true);
 181 }
 182
 183 $sTemporaryFile = CONST_BasePath.'/data/osmosischange.osc';
 184 $bHaveDiff = false;
 185 $bUseOSMApi = isset($aResult['import-from-main-api']) && $aResult['import-from-main-api'];
 186 $sContentURL = '';
 187 if (isset($aResult['import-node']) && $aResult['import-node']) {
 188     if ($bUseOSMApi) {
 189         $sContentURL = 'https://www.openstreetmap.org/api/0.6/node/'.$aResult['import-node'];
 190     } else {
 191         $sContentURL = 'https://overpass-api.de/api/interpreter?data=node('.$aResult['import-node'].');out%20meta;';
 192     }
 193 }
 194
 195 if (isset($aResult['import-way']) && $aResult['import-way']) {
 196     if ($bUseOSMApi) {
 197         $sContentURL = 'https://www.openstreetmap.org/api/0.6/way/'.$aResult['import-way'].'/full';
 198     } else {
 199         $sContentURL = 'https://overpass-api.de/api/interpreter?data=(way('.$aResult['import-way'].');node(w););out%20meta;';
 200     }
 201 }
 202
 203 if (isset($aResult['import-relation']) && $aResult['import-relation']) {
 204     if ($bUseOSMApi) {
 205         $sContentURLsModifyXMLstr = 'https://www.openstreetmap.org/api/0.6/relation/'.$aResult['import-relation'].'/full';
 206     } else {
 207         $sContentURL = 'https://overpass-api.de/api/interpreter?data=((rel('.$aResult['import-relation'].');way(r);node(w));node(r));out%20meta;';
 208     }
 209 }
 210
 211 if ($sContentURL) {
 212     file_put_contents($sTemporaryFile, file_get_contents($sContentURL));
 213     $bHaveDiff = true;
 214 }
 215
 216 if ($bHaveDiff) {
 217     // import generated change file
 218     $sCMD = $sOsm2pgsqlCmd.' '.$sTemporaryFile;
 219     echo $sCMD."\n";
 220     $iErrorLevel = runWithEnv($sCMD, $aProcEnv);
 221     if ($iErrorLevel) {
 222         fail("osm2pgsql exited with error level $iErrorLevel\n");
 223     }
 224 }
 225
 226 if ($aResult['deduplicate']) {
 227     $oDB = new Nominatim\DB();
 228     $oDB->connect();
 229
 230     if ($oDB->getPostgresVersion() < 9.3) {
 231         fail('ERROR: deduplicate is only currently supported in postgresql 9.3');
 232     }
 233
 234     $sSQL = 'select partition from country_name order by country_code';
 235     $aPartitions = $oDB->getCol($sSQL);
 236     $aPartitions[] = 0;
 237
 238     // we don't care about empty search_name_* partitions, they can't contain mentions of duplicates
 239     foreach ($aPartitions as $i => $sPartition) {
 240         $sSQL = 'select count(*) from search_name_'.$sPartition;
 241         $nEntries = $oDB->getOne($sSQL);
 242         if ($nEntries == 0) {
 243             unset($aPartitions[$i]);
 244         }
 245     }
 246
 247     $sSQL = "select word_token,count(*) from word where substr(word_token, 1, 1) = ' '";
 248     $sSQL .= ' and class is null and type is null and country_code is null';
 249     $sSQL .= ' group by word_token having count(*) > 1 order by word_token';
 250     $aDuplicateTokens = $oDB->getAll($sSQL);
 251     foreach ($aDuplicateTokens as $aToken) {
 252         if (trim($aToken['word_token']) == '' || trim($aToken['word_token']) == '-') continue;
 253         echo 'Deduping '.$aToken['word_token']."\n";
 254         $sSQL = 'select word_id,';
 255         $sSQL .= ' (select count(*) from search_name where nameaddress_vector @> ARRAY[word_id]) as num';
 256         $sSQL .= " from word where word_token = '".$aToken['word_token'];
 257         $sSQL .= "' and class is null and type is null and country_code is null order by num desc";
 258         $aTokenSet = $oDB->getAll($sSQL);
 259
 260         $aKeep = array_shift($aTokenSet);
 261         $iKeepID = $aKeep['word_id'];
 262
 263         foreach ($aTokenSet as $aRemove) {
 264             $sSQL = 'update search_name set';
 265             $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.'),';
 266             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 267             $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 268             $oDB->exec($sSQL);
 269
 270             $sSQL = 'update search_name set';
 271             $sSQL .= ' nameaddress_vector = array_replace(nameaddress_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 272             $sSQL .= ' where nameaddress_vector @> ARRAY['.$aRemove['word_id'].']';
 273             $oDB->exec($sSQL);
 274
 275             $sSQL = 'update location_area_country set';
 276             $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 277             $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 278             $oDB->exec($sSQL);
 279
 280             foreach ($aPartitions as $sPartition) {
 281                 $sSQL = 'update search_name_'.$sPartition.' set';
 282                 $sSQL .= ' name_vector = array_replace(name_vector,'.$aRemove['word_id'].','.$iKeepID.')';
 283                 $sSQL .= ' where name_vector @> ARRAY['.$aRemove['word_id'].']';
 284                 $oDB->exec($sSQL);
 285
 286                 $sSQL = 'update location_area_country set';
 287                 $sSQL .= ' keywords = array_replace(keywords,'.$aRemove['word_id'].','.$iKeepID.')';
 288                 $sSQL .= ' where keywords @> ARRAY['.$aRemove['word_id'].']';
 289                 $oDB->exec($sSQL);
 290             }
 291
 292             $sSQL = 'delete from word where word_id = '.$aRemove['word_id'];
 293             $oDB->exec($sSQL);
 294         }
 295     }
 296 }
 297
 298 if ($aResult['recompute-word-counts']) {
 299     info('Recompute frequency of full-word search terms');
 300     $sTemplate = file_get_contents(CONST_BasePath.'/sql/words_from_search_name.sql');
 301     runSQLScript($sTemplate, true, true);
 302 }
 303
 304 if ($aResult['index']) {
 305     $sCmd = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'].' -r '.$aResult['index-rank'];
 306     if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 307         $sCmd .= ' -H ' . $aDSNInfo['hostspec'];
 308     }
 309     if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 310         $sCmd .= ' -U ' . $aDSNInfo['username'];
 311     }
 312
 313     runWithEnv($sCmd, $aProcEnv);
 314
 315     $oDB->exec('update import_status set indexed = true');
 316 }
 317
 318 if ($aResult['update-address-levels']) {
 319     echo 'Updating address levels from '.CONST_Address_Level_Config.".\n";
 320     $oAlParser = new \Nominatim\Setup\AddressLevelParser(CONST_Address_Level_Config);
 321     $oAlParser->createTable($oDB, 'address_levels');
 322 }
 323
 324 if ($aResult['recompute-importance']) {
 325     echo 'Updating importance values for database.\n';
 326     $oDB = new Nominatim\DB();
 327     $oDB->connect();
 328
 329     $sSQL = 'ALTER TABLE placex DISABLE TRIGGER ALL;';
 330     $sSQL .= 'UPDATE placex SET (wikipedia, importance) = (SELECT wikipedia, importance FROM compute_importance(extratags, country_code, osm_type, osm_id));';
 331     $sSQL .= 'UPDATE placex s SET wikipedia = d.wikipedia, importance = d.importance FROM placex d WHERE s.place_id = d.linked_place_id and d.wikipedia is not null and (s.wikipedia is null or s.importance < d.importance);';
 332     $sSQL .= 'ALTER TABLE placex ENABLE TRIGGER ALL;';
 333     $oDB->exec($sSQL);
 334 }
 335
 336 if ($aResult['import-osmosis'] || $aResult['import-osmosis-all']) {
 337     //
 338     if (strpos(CONST_Replication_Url, 'download.geofabrik.de') !== false && CONST_Replication_Update_Interval < 86400) {
 339         fail('Error: Update interval too low for download.geofabrik.de. ' .
 340              "Please check install documentation (http://nominatim.org/release-docs/latest/Import-and-Update#setting-up-the-update-process)\n");
 341     }
 342
 343     $sImportFile = CONST_InstallPath.'/osmosischange.osc';
 344     $sCMDDownload = CONST_Pyosmium_Binary.' --server '.CONST_Replication_Url.' -o '.$sImportFile.' -s '.CONST_Replication_Max_Diff_size;
 345     $sCMDImport = $sOsm2pgsqlCmd.' '.$sImportFile;
 346     $sCMDIndex = CONST_InstallPath.'/nominatim/nominatim -i -d '.$aDSNInfo['database'].' -P '.$aDSNInfo['port'].' -t '.$aResult['index-instances'];
 347     if (isset($aDSNInfo['hostspec']) && $aDSNInfo['hostspec']) {
 348         $sCMDIndex .= ' -H ' . $aDSNInfo['hostspec'];
 349     }
 350     if (isset($aDSNInfo['username']) && $aDSNInfo['username']) {
 351         $sCMDIndex .= ' -U ' . $aDSNInfo['username'];
 352     }
 353
 354     while (true) {
 355         $fStartTime = time();
 356         $aLastState = $oDB->getRow('SELECT *, EXTRACT (EPOCH FROM lastimportdate) as unix_ts FROM import_status');
 357
 358         if (!$aLastState['sequence_id']) {
 359             echo "Updates not set up. Please run ./utils/update.php --init-updates.\n";
 360             exit(1);
 361         }
 362
 363         echo 'Currently at sequence '.$aLastState['sequence_id'].' ('.$aLastState['lastimportdate'].') - '.$aLastState['indexed']." indexed\n";
 364
 365         $sBatchEnd = $aLastState['lastimportdate'];
 366         $iEndSequence = $aLastState['sequence_id'];
 367
 368         if ($aLastState['indexed']) {
 369             // Sleep if the update interval has not yet been reached.
 370             $fNextUpdate = $aLastState['unix_ts'] + CONST_Replication_Update_Interval;
 371             if ($fNextUpdate > $fStartTime) {
 372                 $iSleepTime = $fNextUpdate - $fStartTime;
 373                 echo "Waiting for next update for $iSleepTime sec.";
 374                 sleep($iSleepTime);
 375             }
 376
 377             // Download the next batch of changes.
 378             do {
 379                 $fCMDStartTime = time();
 380                 $iNextSeq = (int) $aLastState['sequence_id'];
 381                 unset($aOutput);
 382                 echo "$sCMDDownload -I $iNextSeq\n";
 383                 if (file_exists($sImportFile)) {
 384                     unlink($sImportFile);
 385                 }
 386                 exec($sCMDDownload.' -I '.$iNextSeq, $aOutput, $iResult);
 387
 388                 if ($iResult == 3) {
 389                     echo 'No new updates. Sleeping for '.CONST_Replication_Recheck_Interval." sec.\n";
 390                     sleep(CONST_Replication_Recheck_Interval);
 391                 } elseif ($iResult != 0) {
 392                     echo 'ERROR: updates failed.';
 393                     exit($iResult);
 394                 } else {
 395                     $iEndSequence = (int)$aOutput[0];
 396                 }
 397             } while ($iResult);
 398
 399             // get the newest object from the diff file
 400             $sBatchEnd = 0;
 401             $iRet = 0;
 402             exec(CONST_BasePath.'/utils/osm_file_date.py '.$sImportFile, $sBatchEnd, $iRet);
 403             if ($iRet == 5) {
 404                 echo "Diff file is empty. skipping import.\n";
 405                 if (!$aResult['import-osmosis-all']) {
 406                     exit(0);
 407                 } else {
 408                     continue;
 409                 }
 410             }
 411             if ($iRet != 0) {
 412                 fail('Error getting date from diff file.');
 413             }
 414             $sBatchEnd = $sBatchEnd[0];
 415
 416             // Import the file
 417             $fCMDStartTime = time();
 418             echo $sCMDImport."\n";
 419             unset($sJunk);
 420             $iErrorLevel = runWithEnv($sCMDImport, $aProcEnv);
 421             if ($iErrorLevel) {
 422                 echo "Error executing osm2pgsql: $iErrorLevel\n";
 423                 exit($iErrorLevel);
 424             }
 425
 426             // write the update logs
 427             $iFileSize = filesize($sImportFile);
 428             $sSQL = 'INSERT INTO import_osmosis_log';
 429             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 430             $sSQL .= " values ('$sBatchEnd',$iEndSequence,$iFileSize,'";
 431             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 432             $sSQL .= date('Y-m-d H:i:s')."','import')";
 433             var_Dump($sSQL);
 434             $oDB->exec($sSQL);
 435
 436             // update the status
 437             $sSQL = "UPDATE import_status SET lastimportdate = '$sBatchEnd', indexed=false, sequence_id = $iEndSequence";
 438             var_Dump($sSQL);
 439             $oDB->exec($sSQL);
 440             echo date('Y-m-d H:i:s')." Completed download step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 441         }
 442
 443         // Index file
 444         if (!$aResult['no-index']) {
 445             $sThisIndexCmd = $sCMDIndex;
 446             $fCMDStartTime = time();
 447
 448             echo "$sThisIndexCmd\n";
 449             $iErrorLevel = runWithEnv($sThisIndexCmd, $aProcEnv);
 450             if ($iErrorLevel) {
 451                 echo "Error: $iErrorLevel\n";
 452                 exit($iErrorLevel);
 453             }
 454
 455             $sSQL = 'INSERT INTO import_osmosis_log';
 456             $sSQL .= '(batchend, batchseq, batchsize, starttime, endtime, event)';
 457             $sSQL .= " values ('$sBatchEnd',$iEndSequence,NULL,'";
 458             $sSQL .= date('Y-m-d H:i:s', $fCMDStartTime)."','";
 459             $sSQL .= date('Y-m-d H:i:s')."','index')";
 460             var_Dump($sSQL);
 461             $oDB->exec($sSQL);
 462             echo date('Y-m-d H:i:s')." Completed index step for $sBatchEnd in ".round((time()-$fCMDStartTime)/60, 2)." minutes\n";
 463
 464             $sSQL = 'update import_status set indexed = true';
 465             $oDB->exec($sSQL);
 466         } else {
 467             if ($aResult['import-osmosis-all']) {
 468                 echo "Error: --no-index cannot be used with continuous imports (--import-osmosis-all).\n";
 469                 exit(1);
 470             }
 471         }
 472
 473         $fDuration = time() - $fStartTime;
 474         echo date('Y-m-d H:i:s')." Completed all for $sBatchEnd in ".round($fDuration/60, 2)." minutes\n";
 475         if (!$aResult['import-osmosis-all']) exit(0);
 476     }
 477 }