test/python/test_db_status.py

   1 """
   2 Tests for status table manipulation.
   3 """
   4 import datetime as dt
   5
   6 import pytest
   7
   8 import nominatim.db.status
   9 from nominatim.errors import UsageError
  10
  11 def test_compute_database_date_place_empty(status_table, place_table, temp_db_conn):
  12     with pytest.raises(UsageError):
  13         nominatim.db.status.compute_database_date(temp_db_conn)
  14
  15 OSM_NODE_DATA = """\
  16 <osm version="0.6" generator="OpenStreetMap server" copyright="OpenStreetMap and contributors" attribution="http://www.openstreetmap.org/copyright" license="http://opendatacommons.org/licenses/odbl/1-0/">
  17 <node id="45673" visible="true" version="1" changeset="2047" timestamp="2006-01-27T22:09:10Z" user="Foo" uid="111" lat="48.7586670" lon="8.1343060">
  18 </node>
  19 </osm>
  20 """
  21
  22 def iso_date(date):
  23     return dt.datetime.strptime(date, nominatim.db.status.ISODATE_FORMAT)\
  24                .replace(tzinfo=dt.timezone.utc)
  25
  26
  27 def test_compute_database_date_valid(monkeypatch, status_table, place_row, temp_db_conn):
  28     place_row(osm_type='N', osm_id=45673)
  29
  30     requested_url = []
  31     def mock_url(url):
  32         requested_url.append(url)
  33         return OSM_NODE_DATA
  34
  35     monkeypatch.setattr(nominatim.db.status, "get_url", mock_url)
  36
  37     date = nominatim.db.status.compute_database_date(temp_db_conn)
  38
  39     assert requested_url == ['https://www.openstreetmap.org/api/0.6/node/45673/1']
  40     assert date == iso_date('2006-01-27T22:09:10')
  41
  42
  43 def test_compute_database_broken_api(monkeypatch, status_table, place_row, temp_db_conn):
  44     place_row(osm_type='N', osm_id=45673)
  45
  46     requested_url = []
  47     def mock_url(url):
  48         requested_url.append(url)
  49         return '<osm version="0.6" generator="OpenStre'
  50
  51     monkeypatch.setattr(nominatim.db.status, "get_url", mock_url)
  52
  53     with pytest.raises(UsageError):
  54         date = nominatim.db.status.compute_database_date(temp_db_conn)
  55
  56
  57 def test_set_status_empty_table(status_table, temp_db_conn, temp_db_cursor):
  58     date = dt.datetime.fromordinal(1000000).replace(tzinfo=dt.timezone.utc)
  59     nominatim.db.status.set_status(temp_db_conn, date=date)
  60
  61     assert temp_db_cursor.row_set("SELECT * FROM import_status") == \
  62              {(date, None, True)}
  63
  64
  65 def test_set_status_filled_table(status_table, temp_db_conn, temp_db_cursor):
  66     date = dt.datetime.fromordinal(1000000).replace(tzinfo=dt.timezone.utc)
  67     nominatim.db.status.set_status(temp_db_conn, date=date)
  68
  69     assert temp_db_cursor.table_rows('import_status') == 1
  70
  71     date = dt.datetime.fromordinal(1000100).replace(tzinfo=dt.timezone.utc)
  72     nominatim.db.status.set_status(temp_db_conn, date=date, seq=456, indexed=False)
  73
  74     assert temp_db_cursor.row_set("SELECT * FROM import_status") == \
  75              {(date, 456, False)}
  76
  77
  78 def test_set_status_missing_date(status_table, temp_db_conn, temp_db_cursor):
  79     date = dt.datetime.fromordinal(1000000).replace(tzinfo=dt.timezone.utc)
  80     nominatim.db.status.set_status(temp_db_conn, date=date)
  81
  82     assert temp_db_cursor.table_rows('import_status') == 1
  83
  84     nominatim.db.status.set_status(temp_db_conn, date=None, seq=456, indexed=False)
  85
  86     assert temp_db_cursor.row_set("SELECT * FROM import_status") == \
  87              {(date, 456, False)}
  88
  89
  90 def test_get_status_empty_table(status_table, temp_db_conn):
  91     assert nominatim.db.status.get_status(temp_db_conn) == (None, None, None)
  92
  93
  94 def test_get_status_success(status_table, temp_db_conn):
  95     date = dt.datetime.fromordinal(1000000).replace(tzinfo=dt.timezone.utc)
  96     nominatim.db.status.set_status(temp_db_conn, date=date, seq=667, indexed=False)
  97
  98     assert nominatim.db.status.get_status(temp_db_conn) == \
  99              (date, 667, False)
 100
 101
 102 @pytest.mark.parametrize("old_state", [True, False])
 103 @pytest.mark.parametrize("new_state", [True, False])
 104 def test_set_indexed(status_table, temp_db_conn, temp_db_cursor, old_state, new_state):
 105     date = dt.datetime.fromordinal(1000000).replace(tzinfo=dt.timezone.utc)
 106     nominatim.db.status.set_status(temp_db_conn, date=date, indexed=old_state)
 107     nominatim.db.status.set_indexed(temp_db_conn, new_state)
 108
 109     assert temp_db_cursor.scalar("SELECT indexed FROM import_status") == new_state
 110
 111
 112 def test_set_indexed_empty_status(status_table, temp_db_conn, temp_db_cursor):
 113     nominatim.db.status.set_indexed(temp_db_conn, True)
 114
 115     assert temp_db_cursor.table_rows("import_status") == 0
 116
 117
 118 def text_log_status(status_table, temp_db_conn):
 119     date = dt.datetime.fromordinal(1000000).replace(tzinfo=dt.timezone.utc)
 120     start = dt.datetime.now() - dt.timedelta(hours=1)
 121     nominatim.db.status.set_status(temp_db_conn, date=date, seq=56)
 122     nominatim.db.status.log_status(temp_db_conn, start, 'index')
 123
 124     assert temp_db_cursor.table_rows("import_osmosis_log") == 1
 125     assert temp_db_cursor.scalar("SELECT seq FROM import_osmosis_log") == 56
 126     assert temp_db_cursor.scalar("SELECT date FROM import_osmosis_log") == date