]> git.openstreetmap.org Git - nominatim.git/blob - src/nominatim_db/tokenizer/sanitizers/clean_housenumbers.py
release 4.5.0.post8
[nominatim.git] / src / nominatim_db / tokenizer / sanitizers / clean_housenumbers.py
1 # SPDX-License-Identifier: GPL-3.0-or-later
2 #
3 # This file is part of Nominatim. (https://nominatim.org)
4 #
5 # Copyright (C) 2024 by the Nominatim developer community.
6 # For a full list of authors see the git log.
7 """
8 Sanitizer that preprocesses address tags for house numbers. The sanitizer
9 allows to
10
11 * define which tags are to be considered house numbers (see 'filter-kind')
12 * split house number lists into individual numbers (see 'delimiters')
13
14 Arguments:
15     delimiters: Define the set of characters to be used for
16                 splitting a list of house numbers into parts. (default: ',;')
17     filter-kind: Define the address tags that are considered to be a
18                  house number. Either takes a single string or a list of strings,
19                  where each string is a regular expression. An address item
20                  is considered a house number if the 'kind' fully matches any
21                  of the given regular expressions. (default: 'housenumber')
22     convert-to-name: Define house numbers that should be treated as a name
23                      instead of a house number. Either takes a single string
24                      or a list of strings, where each string is a regular
25                      expression that must match the full house number value.
26 """
27 from typing import Callable, Iterator, List
28
29 from ...data.place_name import PlaceName
30 from .base import ProcessInfo
31 from .config import SanitizerConfig
32
33
34 class _HousenumberSanitizer:
35
36     def __init__(self, config: SanitizerConfig) -> None:
37         self.filter_kind = config.get_filter('filter-kind', ['housenumber'])
38         self.split_regexp = config.get_delimiter()
39
40         self.filter_name = config.get_filter('convert-to-name', 'FAIL_ALL')
41
42     def __call__(self, obj: ProcessInfo) -> None:
43         if not obj.address:
44             return
45
46         new_address: List[PlaceName] = []
47         for item in obj.address:
48             if self.filter_kind(item.kind):
49                 if self.filter_name(item.name):
50                     obj.names.append(item.clone(kind='housenumber'))
51                 else:
52                     new_address.extend(item.clone(kind='housenumber', name=n)
53                                        for n in self.sanitize(item.name))
54             else:
55                 # Don't touch other address items.
56                 new_address.append(item)
57
58         obj.address = new_address
59
60     def sanitize(self, value: str) -> Iterator[str]:
61         """ Extract housenumbers in a regularized format from an OSM value.
62
63             The function works as a generator that yields all valid housenumbers
64             that can be created from the value.
65         """
66         for hnr in self.split_regexp.split(value):
67             if hnr:
68                 yield from self._regularize(hnr)
69
70     def _regularize(self, hnr: str) -> Iterator[str]:
71         yield hnr
72
73
74 def create(config: SanitizerConfig) -> Callable[[ProcessInfo], None]:
75     """ Create a housenumber processing function.
76     """
77
78     return _HousenumberSanitizer(config)