src/nominatim_db/tools/add_osm_data.py

   1 # SPDX-License-Identifier: GPL-3.0-or-later
   2 #
   3 # This file is part of Nominatim. (https://nominatim.org)
   4 #
   5 # Copyright (C) 2024 by the Nominatim developer community.
   6 # For a full list of authors see the git log.
   7 """
   8 Function to add additional OSM data from a file or the API into the database.
   9 """
  10 from typing import Any, MutableMapping
  11 from pathlib import Path
  12 import logging
  13 import urllib
  14
  15 from nominatim_core.db.connection import connect
  16 from nominatim_core.utils.url_utils import get_url
  17 from .exec_utils import run_osm2pgsql
  18
  19 LOG = logging.getLogger()
  20
  21 def _run_osm2pgsql(dsn: str, options: MutableMapping[str, Any]) -> None:
  22     run_osm2pgsql(options)
  23
  24     # Handle deletions
  25     with connect(dsn) as conn:
  26         with conn.cursor() as cur:
  27             cur.execute('SELECT flush_deleted_places()')
  28         conn.commit()
  29
  30
  31 def add_data_from_file(dsn: str, fname: str, options: MutableMapping[str, Any]) -> int:
  32     """ Adds data from a OSM file to the database. The file may be a normal
  33         OSM file or a diff file in all formats supported by libosmium.
  34     """
  35     options['import_file'] = Path(fname)
  36     options['append'] = True
  37     _run_osm2pgsql(dsn, options)
  38
  39     # No status update. We don't know where the file came from.
  40     return 0
  41
  42
  43 def add_osm_object(dsn: str, osm_type: str, osm_id: int, use_main_api: bool,
  44                    options: MutableMapping[str, Any]) -> int:
  45     """ Add or update a single OSM object from the latest version of the
  46         API.
  47     """
  48     if use_main_api:
  49         base_url = f'https://www.openstreetmap.org/api/0.6/{osm_type}/{osm_id}'
  50         if osm_type in ('way', 'relation'):
  51             base_url += '/full'
  52     else:
  53         # use Overpass API
  54         if osm_type == 'node':
  55             data = f'node({osm_id});out meta;'
  56         elif osm_type == 'way':
  57             data = f'(way({osm_id});>;);out meta;'
  58         else:
  59             data = f'(rel(id:{osm_id});>;);out meta;'
  60         base_url = 'https://overpass-api.de/api/interpreter?' \
  61                    + urllib.parse.urlencode({'data': data})
  62
  63     options['append'] = True
  64     options['import_data'] = get_url(base_url).encode('utf-8')
  65
  66     _run_osm2pgsql(dsn, options)
  67
  68     return 0