nominatim/tools/country_info.py

   1 """
   2 Functions for importing and managing static country information.
   3 """
   4 import psycopg2.extras
   5
   6 from nominatim.db import utils as db_utils
   7 from nominatim.db.connection import connect
   8
   9 class _CountryInfo:
  10     """ Caches country-specific properties from the configuration file.
  11     """
  12
  13     def __init__(self):
  14         self._info = {}
  15
  16     def load(self, config):
  17         """ Load the country properties from the configuration files,
  18             if they are not loaded yet.
  19         """
  20         if not self._info:
  21             self._info = config.load_sub_configuration('country_settings.yaml')
  22
  23     def items(self):
  24         """ Return tuples of (country_code, property dict) as iterable.
  25         """
  26         return self._info.items()
  27
  28
  29 _COUNTRY_INFO = _CountryInfo()
  30
  31 def setup_country_config(config):
  32     """ Load country properties from the configuration file.
  33         Needs to be called before using any other functions in this
  34         file.
  35     """
  36     _COUNTRY_INFO.load(config)
  37
  38
  39 def setup_country_tables(dsn, sql_dir, ignore_partitions=False):
  40     """ Create and populate the tables with basic static data that provides
  41         the background for geocoding. Data is assumed to not yet exist.
  42     """
  43     db_utils.execute_file(dsn, sql_dir / 'country_name.sql')
  44     db_utils.execute_file(dsn, sql_dir / 'country_osm_grid.sql.gz')
  45
  46     params = []
  47     for ccode, props in _COUNTRY_INFO.items():
  48         if ccode is not None and props is not None:
  49             if ignore_partitions:
  50                 partition = 0
  51             else:
  52                 partition = props.get('partition')
  53             if ',' in (props.get('languages', ',') or ','):
  54                 lang = None
  55             else:
  56                 lang = props['languages']
  57             params.append((ccode, partition, lang))
  58
  59     with connect(dsn) as conn:
  60         with conn.cursor() as cur:
  61             cur.execute_values(
  62                 """ UPDATE country_name
  63                     SET partition = part, country_default_language_code = lang
  64                     FROM (VALUES %s) AS v (cc, part, lang)
  65                     WHERE country_code = v.cc""", params)
  66         conn.commit()
  67
  68
  69 def create_country_names(conn, tokenizer, languages=None):
  70     """ Add default country names to search index. `languages` is a comma-
  71         separated list of language codes as used in OSM. If `languages` is not
  72         empty then only name translations for the given languages are added
  73         to the index.
  74     """
  75     if languages:
  76         languages = languages.split(',')
  77
  78     def _include_key(key):
  79         return key == 'name' or \
  80                (key.startswith('name:') and (not languages or key[5:] in languages))
  81
  82     with conn.cursor() as cur:
  83         psycopg2.extras.register_hstore(cur)
  84         cur.execute("""SELECT country_code, name FROM country_name
  85                        WHERE country_code is not null""")
  86
  87         with tokenizer.name_analyzer() as analyzer:
  88             for code, name in cur:
  89                 names = {'countrycode': code}
  90                 if code == 'gb':
  91                     names['short_name'] = 'UK'
  92                 if code == 'us':
  93                     names['short_name'] = 'United States'
  94
  95                 # country names (only in languages as provided)
  96                 if name:
  97                     names.update(((k, v) for k, v in name.items() if _include_key(k)))
  98
  99                 analyzer.add_country_names(code, names)
 100
 101     conn.commit()