src/nominatim_db/tools/admin.py

   1 # SPDX-License-Identifier: GPL-3.0-or-later
   2 #
   3 # This file is part of Nominatim. (https://nominatim.org)
   4 #
   5 # Copyright (C) 2024 by the Nominatim developer community.
   6 # For a full list of authors see the git log.
   7 """
   8 Functions for database analysis and maintenance.
   9 """
  10 from typing import Optional, Tuple, Any, cast
  11 import logging
  12
  13 import psycopg
  14 from psycopg.types.json import Json
  15
  16 from ..typing import DictCursorResult
  17 from ..config import Configuration
  18 from ..db.connection import connect, Cursor, register_hstore
  19 from ..errors import UsageError
  20 from ..tokenizer import factory as tokenizer_factory
  21 from ..data.place_info import PlaceInfo
  22
  23 LOG = logging.getLogger()
  24
  25
  26 def _get_place_info(cursor: Cursor, osm_id: Optional[str],
  27                     place_id: Optional[int]) -> DictCursorResult:
  28     sql = """SELECT place_id, extra.*
  29              FROM placex, LATERAL placex_indexing_prepare(placex) as extra
  30           """
  31
  32     values: Tuple[Any, ...]
  33     if osm_id:
  34         osm_type = osm_id[0].upper()
  35         if osm_type not in 'NWR' or not osm_id[1:].isdigit():
  36             LOG.fatal('OSM ID must be of form <N|W|R><id>. Got: %s', osm_id)
  37             raise UsageError("OSM ID parameter badly formatted")
  38
  39         sql += ' WHERE placex.osm_type = %s AND placex.osm_id = %s'
  40         values = (osm_type, int(osm_id[1:]))
  41     elif place_id is not None:
  42         sql += ' WHERE placex.place_id = %s'
  43         values = (place_id, )
  44     else:
  45         LOG.fatal("No OSM object given to index.")
  46         raise UsageError("OSM object not found")
  47
  48     cursor.execute(sql + ' LIMIT 1', values)
  49
  50     if cursor.rowcount < 1:
  51         LOG.fatal("OSM object %s not found in database.", osm_id)
  52         raise UsageError("OSM object not found")
  53
  54     return cast(DictCursorResult, cursor.fetchone())
  55
  56
  57 def analyse_indexing(config: Configuration, osm_id: Optional[str] = None,
  58                      place_id: Optional[int] = None) -> None:
  59     """ Analyse indexing of a single Nominatim object.
  60     """
  61     with connect(config.get_libpq_dsn()) as conn:
  62         register_hstore(conn)
  63         with conn.cursor(row_factory=psycopg.rows.dict_row) as cur:
  64             place = _get_place_info(cur, osm_id, place_id)
  65
  66             cur.execute("update placex set indexed_status = 2 where place_id = %s",
  67                         (place['place_id'], ))
  68
  69             cur.execute("""SET auto_explain.log_min_duration = '0';
  70                            SET auto_explain.log_analyze = 'true';
  71                            SET auto_explain.log_nested_statements = 'true';
  72                            LOAD 'auto_explain';
  73                            SET client_min_messages = LOG;
  74                            SET log_min_messages = FATAL""")
  75
  76             tokenizer = tokenizer_factory.get_tokenizer_for_db(config)
  77
  78             # Enable printing of messages.
  79             conn.add_notice_handler(lambda diag: print(diag.message_primary))
  80
  81             with tokenizer.name_analyzer() as analyzer:
  82                 cur.execute("""UPDATE placex
  83                                SET indexed_status = 0, address = %s, token_info = %s,
  84                                name = %s, linked_place_id = %s
  85                                WHERE place_id = %s""",
  86                             (place['address'],
  87                              Json(analyzer.process_place(PlaceInfo(place))),
  88                              place['name'], place['linked_place_id'], place['place_id']))
  89
  90         # we do not want to keep the results
  91         conn.rollback()
  92
  93
  94 def clean_deleted_relations(config: Configuration, age: str) -> None:
  95     """ Clean deleted relations older than a given age
  96     """
  97     with connect(config.get_libpq_dsn()) as conn:
  98         with conn.cursor() as cur:
  99             try:
 100                 cur.execute("""SELECT place_force_delete(p.place_id)
 101                             FROM import_polygon_delete d, placex p
 102                             WHERE p.osm_type = d.osm_type AND p.osm_id = d.osm_id
 103                             AND age(p.indexed_date) > %s::interval""",
 104                             (age, ))
 105             except psycopg.DataError as exc:
 106                 raise UsageError('Invalid PostgreSQL time interval format') from exc
 107         conn.commit()