utils/setup.php

   1 <?php
   2
   3 require_once(CONST_BasePath.'/lib/init-cmd.php');
   4 require_once(CONST_BasePath.'/lib/setup/SetupClass.php');
   5 require_once(CONST_BasePath.'/lib/setup_functions.php');
   6 ini_set('memory_limit', '800M');
   7
   8 use Nominatim\Setup\SetupFunctions as SetupFunctions;
   9
  10 // (long-opt, short-opt, min-occurs, max-occurs, num-arguments, num-arguments, type, help)
  11 $aCMDOptions
  12 = array(
  13    'Create and setup nominatim search system',
  14    array('help', 'h', 0, 1, 0, 0, false, 'Show Help'),
  15    array('quiet', 'q', 0, 1, 0, 0, 'bool', 'Quiet output'),
  16    array('verbose', 'v', 0, 1, 0, 0, 'bool', 'Verbose output'),
  17
  18    array('osm-file', '', 0, 1, 1, 1, 'realpath', 'File to import'),
  19    array('threads', '', 0, 1, 1, 1, 'int', 'Number of threads (where possible)'),
  20
  21    array('all', '', 0, 1, 0, 0, 'bool', 'Do the complete process'),
  22
  23    array('create-db', '', 0, 1, 0, 0, 'bool', 'Create nominatim db'),
  24    array('setup-db', '', 0, 1, 0, 0, 'bool', 'Build a blank nominatim db'),
  25    array('import-data', '', 0, 1, 0, 0, 'bool', 'Import a osm file'),
  26    array('osm2pgsql-cache', '', 0, 1, 1, 1, 'int', 'Cache size used by osm2pgsql'),
  27    array('reverse-only', '', 0, 1, 0, 0, 'bool', 'Do not create search tables and indexes'),
  28    array('create-functions', '', 0, 1, 0, 0, 'bool', 'Create functions'),
  29    array('enable-diff-updates', '', 0, 1, 0, 0, 'bool', 'Turn on the code required to make diff updates work'),
  30    array('enable-debug-statements', '', 0, 1, 0, 0, 'bool', 'Include debug warning statements in pgsql commands'),
  31    array('ignore-errors', '', 0, 1, 0, 0, 'bool', 'Continue import even when errors in SQL are present (EXPERT)'),
  32    array('create-tables', '', 0, 1, 0, 0, 'bool', 'Create main tables'),
  33    array('create-partition-tables', '', 0, 1, 0, 0, 'bool', 'Create required partition tables'),
  34    array('create-partition-functions', '', 0, 1, 0, 0, 'bool', 'Create required partition triggers'),
  35    array('no-partitions', '', 0, 1, 0, 0, 'bool', 'Do not partition search indices (speeds up import of single country extracts)'),
  36    array('import-wikipedia-articles', '', 0, 1, 0, 0, 'bool', 'Import wikipedia article dump'),
  37    array('load-data', '', 0, 1, 0, 0, 'bool', 'Copy data to live tables from import table'),
  38    array('disable-token-precalc', '', 0, 1, 0, 0, 'bool', 'Disable name precalculation (EXPERT)'),
  39    array('import-tiger-data', '', 0, 1, 0, 0, 'bool', 'Import tiger data (not included in \'all\')'),
  40    array('calculate-postcodes', '', 0, 1, 0, 0, 'bool', 'Calculate postcode centroids'),
  41    array('osmosis-init', '', 0, 1, 0, 0, 'bool', 'Generate default osmosis configuration'),
  42    array('index', '', 0, 1, 0, 0, 'bool', 'Index the data'),
  43    array('index-noanalyse', '', 0, 1, 0, 0, 'bool', 'Do not perform analyse operations during index (EXPERT)'),
  44    array('create-search-indices', '', 0, 1, 0, 0, 'bool', 'Create additional indices required for search and update'),
  45    array('create-country-names', '', 0, 1, 0, 0, 'bool', 'Create default list of searchable country names'),
  46    array('drop', '', 0, 1, 0, 0, 'bool', 'Drop tables needed for updates, making the database readonly (EXPERIMENTAL)'),
  47    array('setup-website', '', 0, 1, 0, 0, 'bool', 'Used to compile environment variables for the website (EXPERIMENTAL)'),
  48   );
  49
  50 // $aCMDOptions passed to getCmdOpt by reference
  51 getCmdOpt($_SERVER['argv'], $aCMDOptions, $aCMDResult, true, true);
  52
  53 $bDidSomething = false;
  54
  55 //*******************************************************
  56 // Making some sanity check:
  57 // Check if osm-file is set and points to a valid file
  58 if ($aCMDResult['import-data'] || $aCMDResult['all']) {
  59     // to remain in /lib/setup_functions.php function
  60     checkInFile($aCMDResult['osm-file']);
  61 }
  62
  63 // osmosis init is no longer supported
  64 if ($aCMDResult['osmosis-init']) {
  65     $bDidSomething = true;
  66     echo "Command 'osmosis-init' no longer available, please use utils/update.php --init-updates.\n";
  67 }
  68
  69 // ******************************************************
  70 // instantiate Setup class
  71 $oSetup = new SetupFunctions($aCMDResult);
  72
  73 // *******************************************************
  74 // go through complete process if 'all' is selected or start selected functions
  75 if ($aCMDResult['create-db'] || $aCMDResult['all']) {
  76     $bDidSomething = true;
  77     $oSetup->createDB();
  78 }
  79
  80 $oSetup->connect();
  81
  82 if ($aCMDResult['setup-db'] || $aCMDResult['all']) {
  83     $bDidSomething = true;
  84     $oSetup->setupDB();
  85 }
  86
  87 // Try accessing the C module, so we know early if something is wrong
  88 checkModulePresence(); // raises exception on failure
  89
  90 if ($aCMDResult['import-data'] || $aCMDResult['all']) {
  91     $bDidSomething = true;
  92     $oSetup->importData($aCMDResult['osm-file']);
  93 }
  94
  95 if ($aCMDResult['create-functions'] || $aCMDResult['all']) {
  96     $bDidSomething = true;
  97     $oSetup->createFunctions();
  98 }
  99
 100 if ($aCMDResult['create-tables'] || $aCMDResult['all']) {
 101     $bDidSomething = true;
 102     $oSetup->createTables($aCMDResult['reverse-only']);
 103     $oSetup->createFunctions();
 104     $oSetup->createTableTriggers();
 105 }
 106
 107 if ($aCMDResult['create-partition-tables'] || $aCMDResult['all']) {
 108     $bDidSomething = true;
 109     $oSetup->createPartitionTables();
 110 }
 111
 112 if ($aCMDResult['create-partition-functions'] || $aCMDResult['all']) {
 113     $bDidSomething = true;
 114     $oSetup->createPartitionFunctions();
 115 }
 116
 117 if ($aCMDResult['import-wikipedia-articles'] || $aCMDResult['all']) {
 118     $bDidSomething = true;
 119     $oSetup->importWikipediaArticles();
 120 }
 121
 122 if ($aCMDResult['load-data'] || $aCMDResult['all']) {
 123     $bDidSomething = true;
 124     $oSetup->loadData($aCMDResult['disable-token-precalc']);
 125 }
 126
 127 if ($aCMDResult['import-tiger-data']) {
 128     $bDidSomething = true;
 129     $oSetup->importTigerData();
 130 }
 131
 132 if ($aCMDResult['calculate-postcodes'] || $aCMDResult['all']) {
 133     $bDidSomething = true;
 134     $oSetup->calculatePostcodes($aCMDResult['all']);
 135 }
 136
 137 if ($aCMDResult['index'] || $aCMDResult['all']) {
 138     $bDidSomething = true;
 139     $oSetup->index($aCMDResult['index-noanalyse']);
 140 }
 141
 142 if ($aCMDResult['drop']) {
 143     $bDidSomething = true;
 144     $oSetup->drop($aCMDResult);
 145 }
 146
 147 if ($aCMDResult['create-search-indices'] || $aCMDResult['all']) {
 148     $bDidSomething = true;
 149     $oSetup->createSearchIndices();
 150 }
 151
 152 if ($aCMDResult['create-country-names'] || $aCMDResult['all']) {
 153     $bDidSomething = true;
 154     $oSetup->createCountryNames($aCMDResult);
 155 }
 156
 157 if ($aCMDResult['setup-website'] || $aCMDResult['all']) {
 158     $bDidSomething = true;
 159     $oSetup->setupWebsite();
 160 }
 161
 162 // ******************************************************
 163 // If we did something, repeat the warnings
 164 if (!$bDidSomething) {
 165     showUsage($aCMDOptions, true);
 166 } else {
 167     echo "Summary of warnings:\n\n";
 168     repeatWarnings();
 169     echo "\n";
 170     info('Setup finished.');
 171 }