src/nominatim_db/tools/exec_utils.py

   1 # SPDX-License-Identifier: GPL-3.0-or-later
   2 #
   3 # This file is part of Nominatim. (https://nominatim.org)
   4 #
   5 # Copyright (C) 2024 by the Nominatim developer community.
   6 # For a full list of authors see the git log.
   7 """
   8 Helper functions for executing external programs.
   9 """
  10 from typing import Any, Mapping
  11 import logging
  12 import os
  13 import subprocess
  14 import shutil
  15
  16 from ..typing import StrPath
  17 from ..db.connection import get_pg_env
  18
  19 LOG = logging.getLogger()
  20
  21 def run_php_server(server_address: str, base_dir: StrPath) -> None:
  22     """ Run the built-in server from the given directory.
  23     """
  24     subprocess.run(['/usr/bin/env', 'php', '-S', server_address],
  25                    cwd=str(base_dir), check=True)
  26
  27
  28 def run_osm2pgsql(options: Mapping[str, Any]) -> None:
  29     """ Run osm2pgsql with the given options.
  30     """
  31     env = get_pg_env(options['dsn'])
  32
  33     cmd = [_find_osm2pgsql_cmd(options['osm2pgsql']),
  34            '--slim',
  35            '--log-progress', 'true',
  36            '--number-processes', '1' if options['append'] else str(options['threads']),
  37            '--cache', str(options['osm2pgsql_cache']),
  38            '--style', str(options['osm2pgsql_style'])
  39           ]
  40
  41     if str(options['osm2pgsql_style']).endswith('.lua'):
  42         env['LUA_PATH'] = ';'.join((str(options['osm2pgsql_style_path'] / '?.lua'),
  43                                     os.environ.get('LUAPATH', ';')))
  44         cmd.extend(('--output', 'flex'))
  45     else:
  46         cmd.extend(('--output', 'gazetteer', '--hstore', '--latlon'))
  47
  48     cmd.append('--append' if options['append'] else '--create')
  49
  50     if options['flatnode_file']:
  51         cmd.extend(('--flat-nodes', options['flatnode_file']))
  52
  53     for key, param in (('slim_data', '--tablespace-slim-data'),
  54                        ('slim_index', '--tablespace-slim-index'),
  55                        ('main_data', '--tablespace-main-data'),
  56                        ('main_index', '--tablespace-main-index')):
  57         if options['tablespaces'][key]:
  58             cmd.extend((param, options['tablespaces'][key]))
  59
  60     if options['tablespaces']['main_data']:
  61         env['NOMINATIM_TABLESPACE_PLACE_DATA'] = options['tablespaces']['main_data']
  62     if options['tablespaces']['main_index']:
  63         env['NOMINATIM_TABLESPACE_PLACE_INDEX'] = options['tablespaces']['main_index']
  64
  65     if options.get('disable_jit', False):
  66         env['PGOPTIONS'] = '-c jit=off -c max_parallel_workers_per_gather=0'
  67
  68     if 'import_data' in options:
  69         cmd.extend(('-r', 'xml', '-'))
  70     elif isinstance(options['import_file'], list):
  71         for fname in options['import_file']:
  72             cmd.append(str(fname))
  73     else:
  74         cmd.append(str(options['import_file']))
  75
  76     subprocess.run(cmd, cwd=options.get('cwd', '.'),
  77                    input=options.get('import_data'),
  78                    env=env, check=True)
  79
  80
  81 def _find_osm2pgsql_cmd(cmdline: str) -> str:
  82     if cmdline is not None:
  83         return cmdline
  84
  85     in_path = shutil.which('osm2pgsql')
  86     if in_path is None:
  87         raise RuntimeError('osm2pgsql executable not found. Please install osm2pgsql first.')
  88
  89     return str(in_path)