DOCKER.md

   1 # Using Docker and Docker Compose for Development and Testing
   2
   3 These instructions are designed for setting up `openstreetmap-website` for development and testing using [Docker](https://www.docker.com/). This will allow you to install the OpenStreetMap application and all its dependencies in Docker images and then run them in containers, almost with a single command.
   4
   5 ## Install Docker
   6
   7 ### Windows
   8
   9 1. Use Docker Desktop via [docker.com Download](https://www.docker.com/products/docker-desktop/).
  10
  11 2. You have to enable git symlinks before cloning the repository.
  12    This repository uses symbolic links that are not enabled by default on Windows git. To enable them, [turn on Developer Mode](https://windowsreport.com/windows-11-developer-mode/) on Windows and run `git config --global core.symlinks true` to enable symlinks in Git. See [this StackOverflow question](https://stackoverflow.com/questions/5917249/git-symbolic-links-in-windows) for more information.
  13
  14 ### Mac
  15
  16 - Use Docker Desktop via [docker.com Download](https://www.docker.com/products/docker-desktop/).
  17 - Or [Homebrew](https://formulae.brew.sh/cask/docker).
  18
  19 ### Linux
  20
  21 Use [Docker Engine](https://docs.docker.com/engine/install/ubuntu/) with the [docker-compose-plugin](https://docs.docker.com/compose/install/linux/)
  22
  23 ## Clone repository
  24
  25 The first step is to fork/clone the repo to your local machine:
  26
  27     git clone https://github.com/openstreetmap/openstreetmap-website.git
  28
  29 Now change working directory to the `openstreetmap-website`:
  30
  31     cd openstreetmap-website
  32
  33 ## Initial Setup
  34
  35 ### Storage
  36
  37     cp config/example.storage.yml config/storage.yml
  38
  39 ### Database
  40
  41     cp config/docker.database.yml config/database.yml
  42
  43 ## Prepare local settings file
  44
  45 This is a workaround. [See issues/2185 for details](https://github.com/openstreetmap/openstreetmap-website/issues/2185#issuecomment-508676026).
  46
  47     touch config/settings.local.yml
  48
  49 **Windows users:** `touch` is not an availible command in Windows so just create a `settings.local.yml` file in the `config` directory, or if you have WSL you can run `wsl touch config/settings.local.yml`.
  50
  51 ## Installation
  52
  53 To build local Docker images run from the root directory of the repository:
  54
  55     docker compose build
  56
  57 If this is your first time running or you have removed cache this will take some time to complete. Once the Docker images have finished building you can launch the images as containers.
  58
  59 To launch the app run:
  60
  61     docker compose up -d
  62
  63 This will launch one Docker container for each 'service' specified in `docker-compose.yml` and run them in the background. There are two options for inspecting the logs of these running containers:
  64
  65 - You can tail logs of a running container with a command like this: `docker compose logs -f web` or `docker compose logs -f db`.
  66 - Instead of running the containers in the background with the `-d` flag, you can launch the containers in the foreground with `docker compose up`. The downside of this is that the logs of all the 'services' defined in `docker-compose.yml` will be intermingled. If you don't want this you can mix and match - for example, you can run the database in background with `docker compose up -d db` and then run the Rails app in the foreground via `docker compose up web`.
  67
  68 ### Migrations
  69
  70 Run the Rails database migrations:
  71
  72     docker compose run --rm web bundle exec rails db:migrate
  73
  74 ### Tests
  75
  76 Prepare the test database:
  77
  78     docker compose run --rm web bundle exec rails db:test:prepare
  79
  80 Run the test suite:
  81
  82     docker compose run --rm web bundle exec rails test:all
  83
  84 If you encounter errors about missing assets, precompile the assets:
  85
  86     docker compose run --rm web bundle exec rake assets:precompile
  87
  88 ### Loading an OSM extract
  89
  90 This installation comes with no geographic data loaded. You can either create new data using one of the editors (Potlatch 2, iD, JOSM etc) or by loading an OSM extract. Here an example for loading an OSM extract into your Docker-based OSM instance.
  91
  92 For example, let's download the District of Columbia from Geofabrik or [any other region](https://download.geofabrik.de):
  93
  94     wget https://download.geofabrik.de/north-america/us/district-of-columbia-latest.osm.pbf
  95
  96 You can now use Docker to load this extract into your local Docker-based OSM instance:
  97
  98     docker compose run --rm web osmosis \
  99         -verbose    \
 100         --read-pbf district-of-columbia-latest.osm.pbf \
 101         --log-progress \
 102         --write-apidb \
 103             host="db" \
 104             database="openstreetmap" \
 105             user="openstreetmap" \
 106             validateSchemaVersion="no"
 107
 108 **Windows users:** Powershell uses `` ` `` and CMD uses `^` at the end of each line, e.g.:
 109
 110     docker compose run --rm web osmosis `
 111         -verbose    `
 112         --read-pbf district-of-columbia-latest.osm.pbf `
 113         --log-progress `
 114         --write-apidb `
 115             host="db" `
 116             database="openstreetmap" `
 117             user="openstreetmap" `
 118             validateSchemaVersion="no"
 119
 120 Once you have data loaded for Washington, DC you should be able to navigate to [`http://localhost:3000/#map=12/38.8938/-77.0146`](http://localhost:3000/#map=12/38.8938/-77.0146) to begin working with your local instance.
 121
 122 ### Additional Configuration
 123
 124 See [`CONFIGURE.md`](CONFIGURE.md) for information on how to manage users and enable OAuth for iD, JOSM etc.
 125
 126 ### Bash
 127
 128 If you want to get into a web container and run specific commands you can fire up a throwaway container to run bash in via:
 129
 130     docker compose run --rm web bash
 131
 132 Alternatively, if you want to use the already-running `web` container then you can `exec` into it via:
 133
 134     docker compose exec web bash
 135
 136 Similarly, if you want to `exec` in the db container use:
 137
 138     docker compose exec db bash