src/nominatim_db/tools/special_phrases/sp_wiki_loader.py

   1 # SPDX-License-Identifier: GPL-3.0-or-later
   2 #
   3 # This file is part of Nominatim. (https://nominatim.org)
   4 #
   5 # Copyright (C) 2024 by the Nominatim developer community.
   6 # For a full list of authors see the git log.
   7 """
   8     Module containing the SPWikiLoader class.
   9 """
  10 from typing import Iterable
  11 import re
  12 import logging
  13
  14 from ...config import Configuration
  15 from ...utils.url_utils import get_url
  16 from .special_phrase import SpecialPhrase
  17
  18 LOG = logging.getLogger()
  19
  20
  21 def _get_wiki_content(lang: str) -> str:
  22     """
  23         Request and return the wiki page's content
  24         corresponding to special phrases for a given lang.
  25         Requested URL Example :
  26             https://wiki.openstreetmap.org/wiki/Special:Export/Nominatim/Special_Phrases/EN
  27     """
  28     url = 'https://wiki.openstreetmap.org/wiki/Special:Export/Nominatim/Special_Phrases/' \
  29           + lang.upper()
  30     return get_url(url)
  31
  32
  33 class SPWikiLoader:
  34     """
  35         Handles loading of special phrases from the wiki.
  36     """
  37     def __init__(self, config: Configuration) -> None:
  38         self.config = config
  39         # Compile the regex here to increase performances.
  40         self.occurence_pattern = re.compile(
  41             r'\| *([^\|]+) *\|\| *([^\|]+) *\|\| *([^\|]+) *\|\| *([^\|]+) *\|\| *([\-YN])'
  42         )
  43         # Hack around a bug where building=yes was imported with quotes into the wiki
  44         self.type_fix_pattern = re.compile(r'\"|&quot;')
  45
  46         self.languages = self.config.get_str_list('LANGUAGES') or \
  47             ['af', 'ar', 'br', 'ca', 'cs', 'de', 'en', 'es',
  48              'et', 'eu', 'fa', 'fi', 'fr', 'gl', 'hr', 'hu',
  49              'ia', 'is', 'it', 'ja', 'mk', 'nl', 'no', 'pl',
  50              'ps', 'pt', 'ru', 'sk', 'sl', 'sv', 'uk', 'vi',
  51              'lv', 'tr']
  52
  53     def generate_phrases(self) -> Iterable[SpecialPhrase]:
  54         """ Download the wiki pages for the configured languages
  55             and extract the phrases from the page.
  56         """
  57         for lang in self.languages:
  58             LOG.warning('Importing phrases for lang: %s...', lang)
  59             loaded_xml = _get_wiki_content(lang)
  60
  61             # One match will be of format [label, class, type, operator, plural]
  62             matches = self.occurence_pattern.findall(loaded_xml)
  63
  64             for match in matches:
  65                 yield SpecialPhrase(match[0],
  66                                     match[1],
  67                                     self.type_fix_pattern.sub('', match[2]),
  68                                     match[3])