test/python/tokenizer/sanitizers/test_clean_housenumbers.py

   1 # SPDX-License-Identifier: GPL-3.0-or-later
   2 #
   3 # This file is part of Nominatim. (https://nominatim.org)
   4 #
   5 # Copyright (C) 2025 by the Nominatim developer community.
   6 # For a full list of authors see the git log.
   7 """
   8 Tests for the sanitizer that normalizes housenumbers.
   9 """
  10 import pytest
  11
  12 from nominatim_db.tokenizer.place_sanitizer import PlaceSanitizer
  13 from nominatim_db.data.place_info import PlaceInfo
  14
  15
  16 @pytest.fixture
  17 def sanitize(request, def_config):
  18     sanitizer_args = {'step': 'clean-housenumbers'}
  19     for mark in request.node.iter_markers(name="sanitizer_params"):
  20         sanitizer_args.update({k.replace('_', '-'): v for k, v in mark.kwargs.items()})
  21
  22     def _run(**kwargs):
  23         place = PlaceInfo({'address': kwargs})
  24         _, address = PlaceSanitizer([sanitizer_args], def_config).process_names(place)
  25
  26         return sorted([(p.kind, p.name) for p in address])
  27
  28     return _run
  29
  30
  31 def test_simple_number(sanitize):
  32     assert sanitize(housenumber='34') == [('housenumber', '34')]
  33
  34
  35 @pytest.mark.parametrize('number', ['1;2;3', '1,2,3', '1; 3 ,2',
  36                                     '2,,3,1', '1;2;3;;', ';3;2;1'])
  37 def test_housenumber_lists(sanitize, number):
  38     assert sanitize(housenumber=number) == \
  39            [('housenumber', '1'), ('housenumber', '2'), ('housenumber', '3')]
  40
  41
  42 @pytest.mark.sanitizer_params(filter_kind=('number', 'streetnumber'))
  43 def test_filter_kind(sanitize):
  44     assert sanitize(housenumber='34', number='4', badnumber='65') == \
  45             [('badnumber', '65'), ('housenumber', '34'), ('housenumber', '4')]
  46
  47
  48 @pytest.mark.parametrize('number', ('6523', 'n/a', '4'))
  49 def test_convert_to_name_converted(def_config, number):
  50     sanitizer_args = {'step': 'clean-housenumbers',
  51                       'convert-to-name': (r'\d+', 'n/a')}
  52
  53     place = PlaceInfo({'address': {'housenumber': number}})
  54     names, address = PlaceSanitizer([sanitizer_args], def_config).process_names(place)
  55
  56     assert ('housenumber', number) in set((p.kind, p.name) for p in names)
  57     assert 'housenumber' not in set(p.kind for p in address)
  58
  59
  60 @pytest.mark.parametrize('number', ('a54', 'n.a', 'bow'))
  61 def test_convert_to_name_unconverted(def_config, number):
  62     sanitizer_args = {'step': 'clean-housenumbers',
  63                       'convert-to-name': (r'\d+', 'n/a')}
  64
  65     place = PlaceInfo({'address': {'housenumber': number}})
  66     names, address = PlaceSanitizer([sanitizer_args], def_config).process_names(place)
  67
  68     assert 'housenumber' not in set(p.kind for p in names)
  69     assert ('housenumber', number) in set((p.kind, p.name) for p in address)