test/python/api/search/test_api_search_query.py

   1 # SPDX-License-Identifier: GPL-3.0-or-later
   2 #
   3 # This file is part of Nominatim. (https://nominatim.org)
   4 #
   5 # Copyright (C) 2023 by the Nominatim developer community.
   6 # For a full list of authors see the git log.
   7 """
   8 Tests for tokenized query data structures.
   9 """
  10 import pytest
  11
  12 from nominatim.api.search import query
  13
  14 class MyToken(query.Token):
  15
  16     def get_category(self):
  17         return 'this', 'that'
  18
  19
  20 def mktoken(tid: int):
  21     return MyToken(penalty=3.0, token=tid, count=1, addr_count=1,
  22                    lookup_word='foo', is_indexed=True)
  23
  24
  25 @pytest.mark.parametrize('ptype,ttype', [('NONE', 'WORD'),
  26                                          ('AMENITY', 'QUALIFIER'),
  27                                          ('STREET', 'PARTIAL'),
  28                                          ('CITY', 'WORD'),
  29                                          ('COUNTRY', 'COUNTRY'),
  30                                          ('POSTCODE', 'POSTCODE')])
  31 def test_phrase_compatible(ptype, ttype):
  32     assert query.PhraseType[ptype].compatible_with(query.TokenType[ttype], False)
  33
  34
  35 @pytest.mark.parametrize('ptype', ['COUNTRY', 'POSTCODE'])
  36 def test_phrase_incompatible(ptype):
  37     assert not query.PhraseType[ptype].compatible_with(query.TokenType.PARTIAL, True)
  38
  39
  40 def test_query_node_empty():
  41     qn = query.QueryNode(query.BreakType.PHRASE, query.PhraseType.NONE)
  42
  43     assert not qn.has_tokens(3, query.TokenType.PARTIAL)
  44     assert qn.get_tokens(3, query.TokenType.WORD) is None
  45
  46
  47 def test_query_node_with_content():
  48     qn = query.QueryNode(query.BreakType.PHRASE, query.PhraseType.NONE)
  49     qn.starting.append(query.TokenList(2, query.TokenType.PARTIAL, [mktoken(100), mktoken(101)]))
  50     qn.starting.append(query.TokenList(2, query.TokenType.WORD, [mktoken(1000)]))
  51
  52     assert not qn.has_tokens(3, query.TokenType.PARTIAL)
  53     assert not qn.has_tokens(2, query.TokenType.COUNTRY)
  54     assert qn.has_tokens(2, query.TokenType.PARTIAL)
  55     assert qn.has_tokens(2, query.TokenType.WORD)
  56
  57     assert qn.get_tokens(3, query.TokenType.PARTIAL) is None
  58     assert qn.get_tokens(2, query.TokenType.COUNTRY) is None
  59     assert len(qn.get_tokens(2, query.TokenType.PARTIAL)) == 2
  60     assert len(qn.get_tokens(2, query.TokenType.WORD)) == 1
  61
  62
  63 def test_query_struct_empty():
  64     q = query.QueryStruct([])
  65
  66     assert q.num_token_slots() == 0
  67
  68
  69 def test_query_struct_with_tokens():
  70     q = query.QueryStruct([query.Phrase(query.PhraseType.NONE, 'foo bar')])
  71     q.add_node(query.BreakType.WORD, query.PhraseType.NONE)
  72     q.add_node(query.BreakType.END, query.PhraseType.NONE)
  73
  74     assert q.num_token_slots() == 2
  75
  76     q.add_token(query.TokenRange(0, 1), query.TokenType.PARTIAL, mktoken(1))
  77     q.add_token(query.TokenRange(1, 2), query.TokenType.PARTIAL, mktoken(2))
  78     q.add_token(query.TokenRange(1, 2), query.TokenType.WORD, mktoken(99))
  79     q.add_token(query.TokenRange(1, 2), query.TokenType.WORD, mktoken(98))
  80
  81     assert q.get_tokens(query.TokenRange(0, 2), query.TokenType.WORD) == []
  82     assert len(q.get_tokens(query.TokenRange(1, 2), query.TokenType.WORD)) == 2
  83
  84     partials = q.get_partials_list(query.TokenRange(0, 2))
  85
  86     assert len(partials) == 2
  87     assert [t.token for t in partials] == [1, 2]
  88
  89     assert q.find_lookup_word_by_id(4) == 'None'
  90     assert q.find_lookup_word_by_id(99) == '[W]foo'
  91
  92
  93 def test_query_struct_incompatible_token():
  94     q = query.QueryStruct([query.Phrase(query.PhraseType.COUNTRY, 'foo bar')])
  95     q.add_node(query.BreakType.WORD, query.PhraseType.COUNTRY)
  96     q.add_node(query.BreakType.END, query.PhraseType.NONE)
  97
  98     q.add_token(query.TokenRange(0, 1), query.TokenType.PARTIAL, mktoken(1))
  99     q.add_token(query.TokenRange(1, 2), query.TokenType.COUNTRY, mktoken(100))
 100
 101     assert q.get_tokens(query.TokenRange(0, 1), query.TokenType.PARTIAL) == []
 102     assert len(q.get_tokens(query.TokenRange(1, 2), query.TokenType.COUNTRY)) == 1
 103
 104
 105 def test_query_struct_amenity_single_word():
 106     q = query.QueryStruct([query.Phrase(query.PhraseType.AMENITY, 'bar')])
 107     q.add_node(query.BreakType.END, query.PhraseType.NONE)
 108
 109     q.add_token(query.TokenRange(0, 1), query.TokenType.PARTIAL, mktoken(1))
 110     q.add_token(query.TokenRange(0, 1), query.TokenType.NEAR_ITEM, mktoken(2))
 111     q.add_token(query.TokenRange(0, 1), query.TokenType.QUALIFIER, mktoken(3))
 112
 113     assert len(q.get_tokens(query.TokenRange(0, 1), query.TokenType.PARTIAL)) == 1
 114     assert len(q.get_tokens(query.TokenRange(0, 1), query.TokenType.NEAR_ITEM)) == 1
 115     assert len(q.get_tokens(query.TokenRange(0, 1), query.TokenType.QUALIFIER)) == 0
 116
 117
 118 def test_query_struct_amenity_two_words():
 119     q = query.QueryStruct([query.Phrase(query.PhraseType.AMENITY, 'foo bar')])
 120     q.add_node(query.BreakType.WORD, query.PhraseType.AMENITY)
 121     q.add_node(query.BreakType.END, query.PhraseType.NONE)
 122
 123     for trange in [(0, 1), (1, 2)]:
 124         q.add_token(query.TokenRange(*trange), query.TokenType.PARTIAL, mktoken(1))
 125         q.add_token(query.TokenRange(*trange), query.TokenType.NEAR_ITEM, mktoken(2))
 126         q.add_token(query.TokenRange(*trange), query.TokenType.QUALIFIER, mktoken(3))
 127
 128     assert len(q.get_tokens(query.TokenRange(0, 1), query.TokenType.PARTIAL)) == 1
 129     assert len(q.get_tokens(query.TokenRange(0, 1), query.TokenType.NEAR_ITEM)) == 0
 130     assert len(q.get_tokens(query.TokenRange(0, 1), query.TokenType.QUALIFIER)) == 1
 131
 132     assert len(q.get_tokens(query.TokenRange(1, 2), query.TokenType.PARTIAL)) == 1
 133     assert len(q.get_tokens(query.TokenRange(1, 2), query.TokenType.NEAR_ITEM)) == 0
 134     assert len(q.get_tokens(query.TokenRange(1, 2), query.TokenType.QUALIFIER)) == 1
 135