test/python/dummy_tokenizer.py

   1 """
   2 Tokenizer for testing.
   3 """
   4
   5 def create(dsn, data_dir):
   6     """ Create a new instance of the tokenizer provided by this module.
   7     """
   8     return DummyTokenizer(dsn, data_dir)
   9
  10 class DummyTokenizer:
  11
  12     def __init__(self, dsn, data_dir):
  13         self.dsn = dsn
  14         self.data_dir = data_dir
  15         self.init_state = None
  16
  17
  18     def init_new_db(self, config):
  19         assert self.init_state == None
  20         self.init_state = "new"
  21
  22
  23     def init_from_project(self):
  24         assert self.init_state == None
  25         self.init_state = "loaded"