nominatim/tokenizer/token_analysis/housenumbers.py

   1 # SPDX-License-Identifier: GPL-2.0-only
   2 #
   3 # This file is part of Nominatim. (https://nominatim.org)
   4 #
   5 # Copyright (C) 2022 by the Nominatim developer community.
   6 # For a full list of authors see the git log.
   7 """
   8 Specialized processor for housenumbers. Analyses common housenumber patterns
   9 and creates variants for them.
  10 """
  11 from typing import Any, List, cast
  12 import re
  13
  14 from nominatim.data.place_name import PlaceName
  15 from nominatim.tokenizer.token_analysis.generic_mutation import MutationVariantGenerator
  16
  17 RE_NON_DIGIT = re.compile('[^0-9]')
  18 RE_DIGIT_ALPHA = re.compile(r'(\d)\s*([^\d\s␣])')
  19 RE_ALPHA_DIGIT = re.compile(r'([^\s\d␣])\s*(\d)')
  20 RE_NAMED_PART = re.compile(r'[a-z]{4}')
  21
  22 ### Configuration section
  23
  24 def configure(*_: Any) -> None:
  25     """ All behaviour is currently hard-coded.
  26     """
  27     return None
  28
  29 ### Analysis section
  30
  31 def create(normalizer: Any, transliterator: Any, config: None) -> 'HousenumberTokenAnalysis': # pylint: disable=W0613
  32     """ Create a new token analysis instance for this module.
  33     """
  34     return HousenumberTokenAnalysis(normalizer, transliterator)
  35
  36
  37 class HousenumberTokenAnalysis:
  38     """ Detects common housenumber patterns and normalizes them.
  39     """
  40     def __init__(self, norm: Any, trans: Any) -> None:
  41         self.norm = norm
  42         self.trans = trans
  43
  44         self.mutator = MutationVariantGenerator('␣', (' ', ''))
  45
  46     def get_canonical_id(self, name: PlaceName) -> str:
  47         """ Return the normalized form of the housenumber.
  48         """
  49         # shortcut for number-only numbers, which make up 90% of the data.
  50         if RE_NON_DIGIT.search(name.name) is None:
  51             return name.name
  52
  53         norm = cast(str, self.trans.transliterate(self.norm.transliterate(name.name)))
  54         # If there is a significant non-numeric part, use as is.
  55         if RE_NAMED_PART.search(norm) is None:
  56             # Otherwise add optional spaces between digits and letters.
  57             (norm_opt, cnt1) = RE_DIGIT_ALPHA.subn(r'\1␣\2', norm)
  58             (norm_opt, cnt2) = RE_ALPHA_DIGIT.subn(r'\1␣\2', norm_opt)
  59             # Avoid creating too many variants per number.
  60             if cnt1 + cnt2 <= 4:
  61                 return norm_opt
  62
  63         return norm
  64
  65     def compute_variants(self, norm_name: str) -> List[str]:
  66         """ Compute the spelling variants for the given normalized housenumber.
  67
  68             Generates variants for optional spaces (marked with '␣').
  69         """
  70         return list(self.mutator.generate([norm_name]))