src/nominatim_db/tokenizer/place_sanitizer.py

   1 # SPDX-License-Identifier: GPL-3.0-or-later
   2 #
   3 # This file is part of Nominatim. (https://nominatim.org)
   4 #
   5 # Copyright (C) 2024 by the Nominatim developer community.
   6 # For a full list of authors see the git log.
   7 """
   8 Handler for cleaning name and address tags in place information before it
   9 is handed to the token analysis.
  10 """
  11 from typing import Optional, List, Mapping, Sequence, Callable, Any, Tuple
  12
  13 from ..errors import UsageError
  14 from ..config import Configuration
  15 from .sanitizers.config import SanitizerConfig
  16 from .sanitizers.base import SanitizerHandler, ProcessInfo
  17 from ..data.place_name import PlaceName
  18 from ..data.place_info import PlaceInfo
  19
  20
  21 class PlaceSanitizer:
  22     """ Controller class which applies sanitizer functions on the place
  23         names and address before they are used by the token analysers.
  24     """
  25
  26     def __init__(self, rules: Optional[Sequence[Mapping[str, Any]]],
  27                  config: Configuration) -> None:
  28         self.handlers: List[Callable[[ProcessInfo], None]] = []
  29
  30         if rules:
  31             for func in rules:
  32                 if 'step' not in func:
  33                     raise UsageError("Sanitizer rule is missing the 'step' attribute.")
  34                 if not isinstance(func['step'], str):
  35                     raise UsageError("'step' attribute must be a simple string.")
  36
  37                 module: SanitizerHandler = \
  38                     config.load_plugin_module(func['step'], 'nominatim_db.tokenizer.sanitizers')
  39
  40                 self.handlers.append(module.create(SanitizerConfig(func)))
  41
  42
  43     def process_names(self, place: PlaceInfo) -> Tuple[List[PlaceName], List[PlaceName]]:
  44         """ Extract a sanitized list of names and address parts from the
  45             given place. The function returns a tuple
  46             (list of names, list of address names)
  47         """
  48         obj = ProcessInfo(place)
  49
  50         for func in self.handlers:
  51             func(obj)
  52
  53         return obj.names, obj.address