lib-php/admin/setup.php

   1 <?php
   2 @define('CONST_LibDir', dirname(dirname(__FILE__)));
   3
   4 require_once(CONST_LibDir.'/init-cmd.php');
   5 require_once(CONST_LibDir.'/setup/SetupClass.php');
   6 require_once(CONST_LibDir.'/setup_functions.php');
   7 ini_set('memory_limit', '800M');
   8
   9 use Nominatim\Setup\SetupFunctions as SetupFunctions;
  10
  11 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
  12 $aCMDOptions
  13 = array(
  14    'Create and setup nominatim search system',
  15    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  16    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  17    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  18
  19    array('osm-file', '', 0, 1, 1, 1, 'realpath', 'File to import'),
  20    array('threads', '', 0, 1, 1, 1, 'int', 'Number of threads (where possible)'),
  21
  22    array('all', '', 0, 1, 0, 0, 'bool', 'Do the complete process'),
  23
  24    array('create-db', '', 0, 1, 0, 0, 'bool', 'Create nominatim db'),
  25    array('setup-db', '', 0, 1, 0, 0, 'bool', 'Build a blank nominatim db'),
  26    array('import-data', '', 0, 1, 0, 0, 'bool', 'Import a osm file'),
  27    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  28    array('reverse-only', '', 0, 1, 0, 0, 'bool', 'Do not create search tables and indexes'),
  29    array('create-functions', '', 0, 1, 0, 0, 'bool', 'Create functions'),
  30    array('enable-diff-updates', '', 0, 1, 0, 0, 'bool', 'Turn on the code required to make diff updates work'),
  31    array('enable-debug-statements', '', 0, 1, 0, 0, 'bool', 'Include debug warning statements in pgsql commands'),
  32    array('ignore-errors', '', 0, 1, 0, 0, 'bool', 'Continue import even when errors in SQL are present (EXPERT)'),
  33    array('create-tables', '', 0, 1, 0, 0, 'bool', 'Create main tables'),
  34    array('create-partition-tables', '', 0, 1, 0, 0, 'bool', 'Create required partition tables'),
  35    array('create-partition-functions', '', 0, 1, 0, 0, 'bool', 'Create required partition triggers'),
  36    array('no-partitions', '', 0, 1, 0, 0, 'bool', 'Do not partition search indices (speeds up import of single country extracts)'),
  37    array('import-wikipedia-articles', '', 0, 1, 0, 0, 'bool', 'Import wikipedia article dump'),
  38    array('load-data', '', 0, 1, 0, 0, 'bool', 'Copy data to live tables from import table'),
  39    array('disable-token-precalc', '', 0, 1, 0, 0, 'bool', 'Disable name precalculation (EXPERT)'),
  40    array('import-tiger-data', '', 0, 1, 0, 0, 'bool', 'Import tiger data (not included in \'all\')'),
  41    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Calculate postcode centroids'),
  42    array('index', '', 0, 1, 0, 0, 'bool', 'Index the data'),
  43    array('index-noanalyse', '', 0, 1, 0, 0, 'bool', 'Do not perform analyse operations during index (EXPERT)'),
  44    array('create-search-indices', '', 0, 1, 0, 0, 'bool', 'Create additional indices required for search and update'),
  45    array('create-country-names', '', 0, 1, 0, 0, 'bool', 'Create default list of searchable country names'),
  46    array('drop', '', 0, 1, 0, 0, 'bool', 'Drop tables needed for updates, making the database readonly (EXPERIMENTAL)'),
  47    array('setup-website', '', 0, 1, 0, 0, 'bool', 'Used to compile environment variables for the website'),
  48    array('project-dir', '', 0, 1, 1, 1, 'realpath', 'Base directory of the Nominatim installation (default: .)'),
  49   );
  50
  51 // $aCMDOptions passed to getCmdOpt by reference
  52 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aCMDResult, true, true);
  53
  54 loadSettings($aCMDResult['project-dir'] ?? getcwd());
  55 setupHTTPProxy();
  56
  57 $bDidSomething = false;
  58
  59 $oNominatimCmd = new \Nominatim\Shell(getSetting('NOMINATIM_TOOL'));
  60 if (isset($aCMDResult['quiet']) && $aCMDResult['quiet']) {
  61     $oNominatimCmd->addParams('--quiet');
  62 }
  63 if ($aCMDResult['verbose']) {
  64     $oNominatimCmd->addParams('--verbose');
  65 }
  66
  67 // by default, use all but one processor, but never more than 15.
  68 var_dump($aCMDResult);
  69 $iInstances = max(1, $aCMDResult['threads'] ?? (min(16, getProcessorCount()) - 1));
  70
  71 function run($oCmd) {
  72     global $iInstances;
  73     $oCmd->addParams('--threads', $iInstances);
  74     $oCmd->run(true);
  75 }
  76
  77
  78 //*******************************************************
  79 // Making some sanity check:
  80 // Check if osm-file is set and points to a valid file
  81 if ($aCMDResult['import-data'] || $aCMDResult['all']) {
  82     // to remain in /lib/setup_functions.php function
  83     checkInFile($aCMDResult['osm-file']);
  84 }
  85
  86 // ******************************************************
  87 // instantiate Setup class
  88 $oSetup = new SetupFunctions($aCMDResult);
  89
  90 // *******************************************************
  91 // go through complete process if 'all' is selected or start selected functions
  92 if ($aCMDResult['create-db'] || $aCMDResult['all']) {
  93     $bDidSomething = true;
  94     run((clone($oNominatimCmd))->addParams('transition', '--create-db'));
  95 }
  96
  97 if ($aCMDResult['setup-db'] || $aCMDResult['all']) {
  98     $bDidSomething = true;
  99     $oCmd = (clone($oNominatimCmd))->addParams('transition', '--setup-db');
 100
 101     if ($aCMDResult['no-partitions'] ?? false) {
 102         $oCmd->addParams('--no-partitions');
 103     }
 104
 105     run($oCmd);
 106 }
 107
 108 if ($aCMDResult['import-data'] || $aCMDResult['all']) {
 109     $bDidSomething = true;
 110     $oCmd = (clone($oNominatimCmd))
 111         ->addParams('transition', '--import-data')
 112         ->addParams('--osm-file', $aCMDResult['osm-file']);
 113     if ($aCMDResult['drop'] ?? false) {
 114         $oCmd->addParams('--drop');
 115     }
 116
 117     run($oCmd);
 118 }
 119
 120 if ($aCMDResult['create-functions'] || $aCMDResult['all']) {
 121     $bDidSomething = true;
 122     $oSetup->createFunctions();
 123 }
 124
 125 if ($aCMDResult['create-tables'] || $aCMDResult['all']) {
 126     $bDidSomething = true;
 127     $oSetup->createTables($aCMDResult['reverse-only']);
 128     $oSetup->createFunctions();
 129     $oSetup->createTableTriggers();
 130 }
 131
 132 if ($aCMDResult['create-partition-tables'] || $aCMDResult['all']) {
 133     $bDidSomething = true;
 134     $oSetup->createPartitionTables();
 135 }
 136
 137 if ($aCMDResult['create-partition-functions'] || $aCMDResult['all']) {
 138     $bDidSomething = true;
 139     $oSetup->createFunctions(); // also create partition functions
 140 }
 141
 142 if ($aCMDResult['import-wikipedia-articles'] || $aCMDResult['all']) {
 143     $bDidSomething = true;
 144     // ignore errors!
 145     (clone($oNominatimCmd))->addParams('refresh', '--wiki-data')->run();
 146 }
 147
 148 if ($aCMDResult['load-data'] || $aCMDResult['all']) {
 149     $bDidSomething = true;
 150     $oSetup->loadData($aCMDResult['disable-token-precalc']);
 151 }
 152
 153 if ($aCMDResult['import-tiger-data']) {
 154     $bDidSomething = true;
 155     $sTigerPath = getSetting('TIGER_DATA_PATH', CONST_InstallDir.'/tiger');
 156     $oSetup->importTigerData($sTigerPath);
 157 }
 158
 159 if ($aCMDResult['calculate-postcodes'] || $aCMDResult['all']) {
 160     $bDidSomething = true;
 161     $oSetup->calculatePostcodes($aCMDResult['all']);
 162 }
 163
 164 if ($aCMDResult['index'] || $aCMDResult['all']) {
 165     $bDidSomething = true;
 166     $oCmd = (clone($oNominatimCmd))->addParams('transition', '--index');
 167     if ($aCMDResult['index-noanalyse'] ?? false) {
 168         $oCmd->addParams('--no-analyse');
 169     }
 170
 171     run($oCmd);
 172 }
 173
 174 if ($aCMDResult['drop']) {
 175     $bDidSomething = true;
 176     run((clone($oNominatimCmd))->addParams('freeze'));
 177 }
 178
 179 if ($aCMDResult['create-search-indices'] || $aCMDResult['all']) {
 180     $bDidSomething = true;
 181     $oSetup->createSearchIndices();
 182 }
 183
 184 if ($aCMDResult['create-country-names'] || $aCMDResult['all']) {
 185     $bDidSomething = true;
 186     $oSetup->createCountryNames($aCMDResult);
 187 }
 188
 189 if ($aCMDResult['setup-website'] || $aCMDResult['all']) {
 190     $bDidSomething = true;
 191     run((clone($oNominatimCmd))->addParams('refresh', '--website'));
 192 }
 193
 194 // ******************************************************
 195 // If we did something, repeat the warnings
 196 if (!$bDidSomething) {
 197     showUsage($aCMDOptions, true);
 198 } else {
 199     echo "Summary of warnings:\n\n";
 200     repeatWarnings();
 201     echo "\n";
 202     info('Setup finished.');
 203 }