]> git.openstreetmap.org Git - nominatim.git/blobdiff - docs/admin/Tokenizers.md
Merge remote-tracking branch 'upstream/master'
[nominatim.git] / docs / admin / Tokenizers.md
index 782d50b873fe4ce166e48678b41ac9522403dc03..6f8898c8ee70690d88aabd63661b758c9ed37b38 100644 (file)
@@ -52,6 +52,12 @@ The ICU tokenizer uses the [ICU library](http://site.icu-project.org/) to
 normalize names and queries. It also offers configurable decomposition and
 abbreviation handling.
 
+To enable the tokenizer add the following line to your project configuration:
+
+```
+NOMINATIM_TOKENIZER=icu
+```
+
 ### How it works
 
 On import the tokenizer processes names in the following four stages:
@@ -171,7 +177,7 @@ It is also possible to restrict replacements to the beginning and end of a
 name:
 
 ``` yaml
-- ^south => n  # matches only at the beginning of the name
+- ^south => s  # matches only at the beginning of the name
 - road$ => rd  # matches only at the end of the name
 ```
 
@@ -192,8 +198,8 @@ a shortcut notation for it:
 The simple arrow causes an additional variant to be added. Note that
 decomposition has an effect here on the source as well. So a rule
 
-```yaml
-- ~strasse => str
+``` yaml
+- "~strasse -> str"
 ```
 
 means that for a word like `hauptstrasse` four variants are created: