src/nominatim_db/db/sql_preprocessor.py

   1 # SPDX-License-Identifier: GPL-3.0-or-later
   2 #
   3 # This file is part of Nominatim. (https://nominatim.org)
   4 #
   5 # Copyright (C) 2024 by the Nominatim developer community.
   6 # For a full list of authors see the git log.
   7 """
   8 Preprocessing of SQL files.
   9 """
  10 from typing import Set, Dict, Any, cast
  11
  12 import jinja2
  13
  14 from .connection import Connection, server_version_tuple, postgis_version_tuple
  15 from ..config import Configuration
  16 from ..db.query_pool import QueryPool
  17
  18 def _get_partitions(conn: Connection) -> Set[int]:
  19     """ Get the set of partitions currently in use.
  20     """
  21     with conn.cursor() as cur:
  22         cur.execute('SELECT DISTINCT partition FROM country_name')
  23         partitions = set([0])
  24         for row in cur:
  25             partitions.add(row[0])
  26
  27     return partitions
  28
  29
  30 def _get_tables(conn: Connection) -> Set[str]:
  31     """ Return the set of tables currently in use.
  32     """
  33     with conn.cursor() as cur:
  34         cur.execute("SELECT tablename FROM pg_tables WHERE schemaname = 'public'")
  35
  36         return set((row[0] for row in list(cur)))
  37
  38 def _get_middle_db_format(conn: Connection, tables: Set[str]) -> str:
  39     """ Returns the version of the slim middle tables.
  40     """
  41     if 'osm2pgsql_properties' not in tables:
  42         return '1'
  43
  44     with conn.cursor() as cur:
  45         cur.execute("SELECT value FROM osm2pgsql_properties WHERE property = 'db_format'")
  46         row = cur.fetchone()
  47
  48         return cast(str, row[0]) if row is not None else '1'
  49
  50
  51 def _setup_tablespace_sql(config: Configuration) -> Dict[str, str]:
  52     """ Returns a dict with tablespace expressions for the different tablespace
  53         kinds depending on whether a tablespace is configured or not.
  54     """
  55     out = {}
  56     for subset in ('ADDRESS', 'SEARCH', 'AUX'):
  57         for kind in ('DATA', 'INDEX'):
  58             tspace = getattr(config, f'TABLESPACE_{subset}_{kind}')
  59             if tspace:
  60                 tspace = f'TABLESPACE "{tspace}"'
  61             out[f'{subset.lower()}_{kind.lower()}'] = tspace
  62
  63     return out
  64
  65
  66 def _setup_postgresql_features(conn: Connection) -> Dict[str, Any]:
  67     """ Set up a dictionary with various optional Postgresql/Postgis features that
  68         depend on the database version.
  69     """
  70     pg_version = server_version_tuple(conn)
  71     postgis_version = postgis_version_tuple(conn)
  72     pg11plus = pg_version >= (11, 0, 0)
  73     ps3 = postgis_version >= (3, 0)
  74     return {
  75         'has_index_non_key_column': pg11plus,
  76         'spgist_geom' : 'SPGIST' if pg11plus and ps3 else 'GIST'
  77     }
  78
  79 class SQLPreprocessor:
  80     """ A environment for preprocessing SQL files from the
  81         lib-sql directory.
  82
  83         The preprocessor provides a number of default filters and variables.
  84         The variables may be overwritten when rendering an SQL file.
  85
  86         The preprocessing is currently based on the jinja2 templating library
  87         and follows its syntax.
  88     """
  89
  90     def __init__(self, conn: Connection, config: Configuration) -> None:
  91         self.env = jinja2.Environment(autoescape=False,
  92                                       loader=jinja2.FileSystemLoader(str(config.lib_dir.sql)))
  93
  94         db_info: Dict[str, Any] = {}
  95         db_info['partitions'] = _get_partitions(conn)
  96         db_info['tables'] = _get_tables(conn)
  97         db_info['reverse_only'] = 'search_name' not in db_info['tables']
  98         db_info['tablespace'] = _setup_tablespace_sql(config)
  99         db_info['middle_db_format'] = _get_middle_db_format(conn, db_info['tables'])
 100
 101         self.env.globals['config'] = config
 102         self.env.globals['db'] = db_info
 103         self.env.globals['postgres'] = _setup_postgresql_features(conn)
 104
 105
 106     def run_string(self, conn: Connection, template: str, **kwargs: Any) -> None:
 107         """ Execute the given SQL template string on the connection.
 108             The keyword arguments may supply additional parameters
 109             for preprocessing.
 110         """
 111         sql = self.env.from_string(template).render(**kwargs)
 112
 113         with conn.cursor() as cur:
 114             cur.execute(sql)
 115         conn.commit()
 116
 117
 118     def run_sql_file(self, conn: Connection, name: str, **kwargs: Any) -> None:
 119         """ Execute the given SQL file on the connection. The keyword arguments
 120             may supply additional parameters for preprocessing.
 121         """
 122         sql = self.env.get_template(name).render(**kwargs)
 123
 124         with conn.cursor() as cur:
 125             cur.execute(sql)
 126         conn.commit()
 127
 128
 129     async def run_parallel_sql_file(self, dsn: str, name: str, num_threads: int = 1,
 130                                     **kwargs: Any) -> None:
 131         """ Execute the given SQL files using parallel asynchronous connections.
 132             The keyword arguments may supply additional parameters for
 133             preprocessing.
 134
 135             After preprocessing the SQL code is cut at lines containing only
 136             '---'. Each chunk is sent to one of the `num_threads` workers.
 137         """
 138         sql = self.env.get_template(name).render(**kwargs)
 139
 140         parts = sql.split('\n---\n')
 141
 142         async with QueryPool(dsn, num_threads) as pool:
 143             for part in parts:
 144                 await pool.put_query(part, None)