src/nominatim_db/tools/add_osm_data.py

   1 # SPDX-License-Identifier: GPL-3.0-or-later
   2 #
   3 # This file is part of Nominatim. (https://nominatim.org)
   4 #
   5 # Copyright (C) 2024 by the Nominatim developer community.
   6 # For a full list of authors see the git log.
   7 """
   8 Function to add additional OSM data from a file or the API into the database.
   9 """
  10 from typing import Any, MutableMapping
  11 from pathlib import Path
  12 import logging
  13 import urllib
  14
  15 from ..db.connection import connect
  16 from ..utils.url_utils import get_url
  17 from .exec_utils import run_osm2pgsql
  18
  19 LOG = logging.getLogger()
  20
  21
  22 def _run_osm2pgsql(dsn: str, options: MutableMapping[str, Any]) -> None:
  23     run_osm2pgsql(options)
  24
  25     # Handle deletions
  26     with connect(dsn) as conn:
  27         with conn.cursor() as cur:
  28             cur.execute('SELECT flush_deleted_places()')
  29         conn.commit()
  30
  31
  32 def add_data_from_file(dsn: str, fname: str, options: MutableMapping[str, Any]) -> int:
  33     """ Adds data from a OSM file to the database. The file may be a normal
  34         OSM file or a diff file in all formats supported by libosmium.
  35     """
  36     options['import_file'] = Path(fname)
  37     options['append'] = True
  38     _run_osm2pgsql(dsn, options)
  39
  40     # No status update. We don't know where the file came from.
  41     return 0
  42
  43
  44 def add_osm_object(dsn: str, osm_type: str, osm_id: int, use_main_api: bool,
  45                    options: MutableMapping[str, Any]) -> int:
  46     """ Add or update a single OSM object from the latest version of the
  47         API.
  48     """
  49     if use_main_api:
  50         base_url = f'https://www.openstreetmap.org/api/0.6/{osm_type}/{osm_id}'
  51         if osm_type in ('way', 'relation'):
  52             base_url += '/full'
  53     else:
  54         # use Overpass API
  55         if osm_type == 'node':
  56             data = f'node({osm_id});out meta;'
  57         elif osm_type == 'way':
  58             data = f'(way({osm_id});>;);out meta;'
  59         else:
  60             data = f'(rel(id:{osm_id});>;);out meta;'
  61         base_url = 'https://overpass-api.de/api/interpreter?' \
  62                    + urllib.parse.urlencode({'data': data})
  63
  64     options['append'] = True
  65     options['import_data'] = get_url(base_url).encode('utf-8')
  66
  67     _run_osm2pgsql(dsn, options)
  68
  69     return 0