docs/develop/Development-Environment.md

   1 # Setting up Nominatim for Development
   2
   3 This chapter gives an overview how to set up Nominatim for development
   4 and how to run tests.
   5
   6 !!! Important
   7     This guide assumes that you develop under the latest version of Ubuntu. You
   8     can of course also use your favourite distribution. You just might have to
   9     adapt the commands below slightly, in particular the commands for installing
  10     additional software.
  11
  12 ## Installing Nominatim
  13
  14 The first step is to install Nominatim itself. Please follow the installation
  15 instructions in the [Admin section](../admin/Installation.md). You don't need
  16 to set up a webserver for development, the webserver that is included with PHP
  17 is sufficient.
  18
  19 If you want to run Nominatim in a VM via Vagrant, use the default `ubuntu` setup.
  20 Vagrant's libvirt provider runs out-of-the-box under Ubuntu. You also need to
  21 install an NFS daemon to enable directory sharing between host and guest. The
  22 following packages should get you started:
  23
  24     sudo apt install vagrant vagrant-libvirt libvirt-daemon nfs-kernel-server
  25
  26 ## Prerequisites for testing and documentation
  27
  28 The Nominatim test suite consists of behavioural tests (using behave) and
  29 unit tests (using PHPUnit for PHP code and pytest for Python code).
  30 It has the following additional requirements:
  31
  32 * [behave test framework](https://behave.readthedocs.io) >= 1.2.6
  33 * [phpunit](https://phpunit.de) (9.5 is known to work)
  34 * [PHP CodeSniffer](https://github.com/squizlabs/PHP_CodeSniffer)
  35 * [Pylint](https://pylint.org/) (CI always runs the latest version from pip)
  36 * [mypy](http://mypy-lang.org/) (plus typing information for external libs)
  37 * [Python Typing Extensions](https://github.com/python/typing_extensions) (for Python < 3.9)
  38 * [pytest](https://pytest.org)
  39
  40 The documentation is built with mkdocs:
  41
  42 * [mkdocs](https://www.mkdocs.org/) >= 1.1.2
  43 * [mkdocstrings](https://mkdocstrings.github.io/) >= 0.16
  44 * [mkdocstrings-python-legacy](https://mkdocstrings.github.io/python-legacy/)
  45
  46 ### Installing prerequisites on Ubuntu/Debian
  47
  48 Some of the Python packages require the newest version which is not yet
  49 available with the current distributions. Therefore it is recommended to
  50 install pip to get the newest versions.
  51
  52 To install all necessary packages run:
  53
  54 ```sh
  55 sudo apt install php-cgi phpunit php-codesniffer \
  56                  python3-pip python3-setuptools python3-dev
  57
  58 pip3 install --user behave mkdocs mkdocstrings pytest pylint \
  59                     mypy types-PyYAML types-jinja2 types-psycopg2 types-psutil
  60 ```
  61
  62 The `mkdocs` executable will be located in `.local/bin`. You may have to add
  63 this directory to your path, for example by running:
  64
  65 ```
  66 echo 'export PATH=~/.local/bin:$PATH' > ~/.profile
  67 ```
  68
  69 If your distribution does not have PHPUnit 7.3+, you can install it (as well
  70 as CodeSniffer) via composer:
  71
  72 ```
  73 sudo apt-get install composer
  74 composer global require "squizlabs/php_codesniffer=*"
  75 composer global require "phpunit/phpunit=8.*"
  76 ```
  77
  78 The binaries are found in `.config/composer/vendor/bin`. You need to add this
  79 to your PATH as well:
  80
  81 ```
  82 echo 'export PATH=~/.config/composer/vendor/bin:$PATH' > ~/.profile
  83 ```
  84
  85
  86 ## Executing Tests
  87
  88 All tests are located in the `/test` directory.
  89
  90 To run all tests just go to the build directory and run make:
  91
  92 ```sh
  93 cd build
  94 make test
  95 ```
  96
  97 For more information about the structure of the tests and how to change and
  98 extend the test suite, see the [Testing chapter](Testing.md).
  99
 100 ## Documentation Pages
 101
 102 The [Nominatim documentation](https://nominatim.org/release-docs/develop/) is
 103 built using the [MkDocs](https://www.mkdocs.org/) static site generation
 104 framework. The master branch is automatically deployed every night on
 105 [https://nominatim.org/release-docs/develop/](https://nominatim.org/release-docs/develop/)
 106
 107 To build the documentation, go to the build directory and run
 108
 109 ```
 110 make doc
 111 INFO - Cleaning site directory
 112 INFO - Building documentation to directory: /home/vagrant/build/site-html
 113 ```
 114
 115 This runs `mkdocs build` plus extra transformation of some files and adds
 116 symlinks (see `CMakeLists.txt` for the exact steps).
 117
 118 Now you can start webserver for local testing
 119
 120 ```
 121 build> make serve-doc
 122 [server:296] Serving on http://127.0.0.1:8000
 123 [handlers:62] Start watching changes
 124 ```
 125
 126 If you develop inside a Vagrant virtual machine, use a port that is forwarded
 127 to your host:
 128
 129 ```
 130 build> PYTHONPATH=$SRCDIR mkdocs serve --dev-addr 0.0.0.0:8088
 131 [server:296] Serving on http://0.0.0.0:8088
 132 [handlers:62] Start watching changes
 133 ```