lib-php/admin/setup.php

   1 <?php
   2 @define('CONST_LibDir', dirname(dirname(__FILE__)));
   3
   4 require_once(CONST_LibDir.'/init-cmd.php');
   5 require_once(CONST_LibDir.'/setup/SetupClass.php');
   6 require_once(CONST_LibDir.'/setup_functions.php');
   7 ini_set('memory_limit', '800M');
   8
   9 use Nominatim\Setup\SetupFunctions as SetupFunctions;
  10
  11 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
  12 $aCMDOptions
  13 = array(
  14    'Create and setup nominatim search system',
  15    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  16    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  17    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  18
  19    array('osm-file', '', 0, 1, 1, 1, 'realpath', 'File to import'),
  20    array('threads', '', 0, 1, 1, 1, 'int', 'Number of threads (where possible)'),
  21
  22    array('all', '', 0, 1, 0, 0, 'bool', 'Do the complete process'),
  23
  24    array('create-db', '', 0, 1, 0, 0, 'bool', 'Create nominatim db'),
  25    array('setup-db', '', 0, 1, 0, 0, 'bool', 'Build a blank nominatim db'),
  26    array('import-data', '', 0, 1, 0, 0, 'bool', 'Import a osm file'),
  27    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  28    array('reverse-only', '', 0, 1, 0, 0, 'bool', 'Do not create search tables and indexes'),
  29    array('create-functions', '', 0, 1, 0, 0, 'bool', 'Create functions'),
  30    array('enable-diff-updates', '', 0, 1, 0, 0, 'bool', 'Turn on the code required to make diff updates work'),
  31    array('enable-debug-statements', '', 0, 1, 0, 0, 'bool', 'Include debug warning statements in pgsql commands'),
  32    array('ignore-errors', '', 0, 1, 0, 0, 'bool', 'Continue import even when errors in SQL are present (EXPERT)'),
  33    array('create-tables', '', 0, 1, 0, 0, 'bool', 'Create main tables'),
  34    array('create-partition-tables', '', 0, 1, 0, 0, 'bool', 'Create required partition tables'),
  35    array('create-partition-functions', '', 0, 1, 0, 0, 'bool', 'Create required partition triggers'),
  36    array('no-partitions', '', 0, 1, 0, 0, 'bool', 'Do not partition search indices (speeds up import of single country extracts)'),
  37    array('import-wikipedia-articles', '', 0, 1, 0, 0, 'bool', 'Import wikipedia article dump'),
  38    array('load-data', '', 0, 1, 0, 0, 'bool', 'Copy data to live tables from import table'),
  39    array('disable-token-precalc', '', 0, 1, 0, 0, 'bool', 'Disable name precalculation (EXPERT)'),
  40    array('import-tiger-data', '', 0, 1, 0, 0, 'bool', 'Import tiger data (not included in \'all\')'),
  41    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Calculate postcode centroids'),
  42    array('index', '', 0, 1, 0, 0, 'bool', 'Index the data'),
  43    array('index-noanalyse', '', 0, 1, 0, 0, 'bool', 'Do not perform analyse operations during index (EXPERT)'),
  44    array('create-search-indices', '', 0, 1, 0, 0, 'bool', 'Create additional indices required for search and update'),
  45    array('create-country-names', '', 0, 1, 0, 0, 'bool', 'Create default list of searchable country names'),
  46    array('drop', '', 0, 1, 0, 0, 'bool', 'Drop tables needed for updates, making the database readonly (EXPERIMENTAL)'),
  47    array('setup-website', '', 0, 1, 0, 0, 'bool', 'Used to compile environment variables for the website'),
  48    array('project-dir', '', 0, 1, 1, 1, 'realpath', 'Base directory of the Nominatim installation (default: .)'),
  49   );
  50
  51 // $aCMDOptions passed to getCmdOpt by reference
  52 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aCMDResult, true, true);
  53
  54 loadSettings($aCMDResult['project-dir'] ?? getcwd());
  55 setupHTTPProxy();
  56
  57 $bDidSomething = false;
  58
  59 $oNominatimCmd = new \Nominatim\Shell(getSetting('NOMINATIM_TOOL'));
  60 if (isset($aCMDResult['quiet']) && $aCMDResult['quiet']) {
  61     $oNominatimCmd->addParams('--quiet');
  62 }
  63 if ($aCMDResult['verbose']) {
  64     $oNominatimCmd->addParams('--verbose');
  65 }
  66
  67 // by default, use all but one processor, but never more than 15.
  68 $iInstances = max(1, $aCMDResult['threads'] ?? (min(16, getProcessorCount()) - 1));
  69
  70 function run($oCmd) {
  71     global $iInstances;
  72     global $aCMDResult;
  73     $oCmd->addParams('--threads', $iInstances);
  74     if ($aCMDResult['ignore-errors'] ?? false) {
  75         $oCmd->addParams('--ignore-errors');
  76     }
  77     $oCmd->run(true);
  78 }
  79
  80
  81 //*******************************************************
  82 // Making some sanity check:
  83 // Check if osm-file is set and points to a valid file
  84 if ($aCMDResult['import-data'] || $aCMDResult['all']) {
  85     // to remain in /lib/setup_functions.php function
  86     checkInFile($aCMDResult['osm-file']);
  87 }
  88
  89 // ******************************************************
  90 // instantiate Setup class
  91 $oSetup = new SetupFunctions($aCMDResult);
  92
  93 // *******************************************************
  94 // go through complete process if 'all' is selected or start selected functions
  95 if ($aCMDResult['create-db'] || $aCMDResult['all']) {
  96     $bDidSomething = true;
  97     run((clone($oNominatimCmd))->addParams('transition', '--create-db'));
  98 }
  99
 100 if ($aCMDResult['setup-db'] || $aCMDResult['all']) {
 101     $bDidSomething = true;
 102     $oCmd = (clone($oNominatimCmd))->addParams('transition', '--setup-db');
 103
 104     if ($aCMDResult['no-partitions'] ?? false) {
 105         $oCmd->addParams('--no-partitions');
 106     }
 107
 108     run($oCmd);
 109 }
 110
 111 if ($aCMDResult['import-data'] || $aCMDResult['all']) {
 112     $bDidSomething = true;
 113     $oCmd = (clone($oNominatimCmd))
 114         ->addParams('transition', '--import-data')
 115         ->addParams('--osm-file', $aCMDResult['osm-file']);
 116     if ($aCMDResult['drop'] ?? false) {
 117         $oCmd->addParams('--drop');
 118     }
 119
 120     run($oCmd);
 121 }
 122
 123 if ($aCMDResult['create-functions'] || $aCMDResult['all']) {
 124     $bDidSomething = true;
 125     $oSetup->createFunctions();
 126 }
 127
 128 if ($aCMDResult['create-tables'] || $aCMDResult['all']) {
 129     $bDidSomething = true;
 130     $oSetup->createTables($aCMDResult['reverse-only']);
 131     $oSetup->createFunctions();
 132     $oSetup->createTableTriggers();
 133 }
 134
 135 if ($aCMDResult['create-partition-tables'] || $aCMDResult['all']) {
 136     $bDidSomething = true;
 137     $oSetup->createPartitionTables();
 138 }
 139
 140 if ($aCMDResult['create-partition-functions'] || $aCMDResult['all']) {
 141     $bDidSomething = true;
 142     $oSetup->createFunctions(); // also create partition functions
 143 }
 144
 145 if ($aCMDResult['import-wikipedia-articles'] || $aCMDResult['all']) {
 146     $bDidSomething = true;
 147     // ignore errors!
 148     (clone($oNominatimCmd))->addParams('refresh', '--wiki-data')->run();
 149 }
 150
 151 if ($aCMDResult['load-data'] || $aCMDResult['all']) {
 152     $bDidSomething = true;
 153     run((clone($oNominatimCmd))->addParams('transition', '--load-data'));
 154 }
 155
 156 if ($aCMDResult['import-tiger-data']) {
 157     $bDidSomething = true;
 158     $sTigerPath = getSetting('TIGER_DATA_PATH', CONST_InstallDir.'/tiger');
 159     $oSetup->importTigerData($sTigerPath);
 160 }
 161
 162 if ($aCMDResult['calculate-postcodes'] || $aCMDResult['all']) {
 163     $bDidSomething = true;
 164     $oSetup->calculatePostcodes($aCMDResult['all']);
 165 }
 166
 167 if ($aCMDResult['index'] || $aCMDResult['all']) {
 168     $bDidSomething = true;
 169     $oCmd = (clone($oNominatimCmd))->addParams('transition', '--index');
 170     if ($aCMDResult['index-noanalyse'] ?? false) {
 171         $oCmd->addParams('--no-analyse');
 172     }
 173
 174     run($oCmd);
 175 }
 176
 177 if ($aCMDResult['drop']) {
 178     $bDidSomething = true;
 179     run((clone($oNominatimCmd))->addParams('freeze'));
 180 }
 181
 182 if ($aCMDResult['create-search-indices'] || $aCMDResult['all']) {
 183     $bDidSomething = true;
 184     $oSetup->createSearchIndices();
 185 }
 186
 187 if ($aCMDResult['create-country-names'] || $aCMDResult['all']) {
 188     $bDidSomething = true;
 189     $oSetup->createCountryNames($aCMDResult);
 190 }
 191
 192 if ($aCMDResult['setup-website'] || $aCMDResult['all']) {
 193     $bDidSomething = true;
 194     run((clone($oNominatimCmd))->addParams('refresh', '--website'));
 195 }
 196
 197 // ******************************************************
 198 // If we did something, repeat the warnings
 199 if (!$bDidSomething) {
 200     showUsage($aCMDOptions, true);
 201 } else {
 202     echo "Summary of warnings:\n\n";
 203     repeatWarnings();
 204     echo "\n";
 205     info('Setup finished.');
 206 }