INSTALL.md

   1 # Installation
   2
   3 These instructions are designed for setting up The Rails Port for development and testing.
   4 If you want to deploy the software for your own project, then see the notes at the end.
   5
   6 You can install the software directly on your machine, which is the traditional and probably best-supported approach. However, there is an alternative which may be easier: Vagrant. This installs the software into a virtual machine, which makes it easier to get a consistent development environment and may avoid installation difficulties. For Vagrant instructions, see [VAGRANT.md](VAGRANT.md).
   7
   8 These instructions are based on Ubuntu 18.04 LTS, which is the platform used by the OSMF servers.
   9 The instructions also work, with only minor amendments, for all other current Ubuntu releases, Fedora and MacOSX
  10
  11 We don't recommend attempting to develop or deploy this software on Windows. If you need to use Windows, then try developing this software using Ubuntu in a virtual machine, or use [Vagrant](VAGRANT.md).
  12
  13 ## Dependencies
  14
  15 Many of the dependencies are managed through the standard Ruby on Rails mechanisms -
  16 i.e. ruby gems specified in the Gemfile and installed using bundler. However, there are a large number
  17 of packages required before you can get the various gems installed.
  18
  19 ## Minimum requirements
  20
  21 * Ruby 2.5+
  22 * PostgreSQL 9.1+
  23 * ImageMagick
  24 * Bundler
  25 * Javascript Runtime
  26
  27 These can be installed on Ubuntu 18.04 or later with:
  28
  29 ```
  30 sudo apt-get update
  31 sudo apt-get install ruby2.5 libruby2.5 ruby2.5-dev bundler \
  32                      libmagickwand-dev libxml2-dev libxslt1-dev nodejs \
  33                      apache2 apache2-dev build-essential git-core phantomjs \
  34                      postgresql postgresql-contrib libpq-dev libsasl2-dev \
  35                      imagemagick libffi-dev libgd-dev libarchive-dev libbz2-dev
  36 sudo gem2.5 install bundler
  37 ```
  38
  39 ### Alternative platforms
  40
  41 #### Fedora
  42
  43 For Fedora, you can install the minimum requirements with:
  44
  45 ```
  46 sudo dnf install ruby ruby-devel rubygem-rdoc rubygem-bundler rubygems \
  47                  libxml2-devel js \
  48                  gcc gcc-c++ git \
  49                  postgresql postgresql-server postgresql-contrib \
  50                  perl-podlators ImageMagick libffi-devel gd-devel libarchive-devel \
  51                  bzip2-devel nodejs-yarn
  52 ```
  53
  54 If you didn't already have PostgreSQL installed then create a PostgreSQL instance and start the server:
  55
  56 ```
  57 sudo postgresql-setup initdb
  58 sudo systemctl start postgresql.service
  59 ```
  60
  61 Optionally set PostgreSQL to start on boot:
  62
  63 ```
  64 sudo systemctl enable postgresql.service
  65 ```
  66
  67 #### MacOSX
  68
  69 For MacOSX, you will need XCode installed from the Mac App Store; OS X 10.7 (Lion) or later; and some familiarity with Unix development via the Terminal.
  70
  71 Installing PostgreSQL:
  72
  73 * Install Postgres.app from https://postgresapp.com/
  74 * Add PostgreSQL to your path, by editing your profile:
  75
  76 `nano ~/.profile`
  77
  78 and adding:
  79
  80 `export PATH=/Applications/Postgres.app/Contents/MacOS/bin:$PATH`
  81
  82 Installing other dependencies:
  83
  84 * Install Homebrew from https://brew.sh/
  85 * Install the latest version of Ruby: `brew install ruby`
  86 * Install ImageMagick: `brew install imagemagick`
  87 * Install libxml2: `brew install libxml2 --with-xml2-config`
  88 * If you want to run the tests, you need `phantomjs` as well: `brew install phantomjs`
  89 * Install Bundler: `gem install bundler`
  90
  91 Note that OS X does not have a /home directory by default, so if you are using the GPX functions, you will need to change the directories specified in config/application.yml.
  92
  93 ## Cloning the repository
  94
  95 The repository is reasonably large (~150MB) and it's unlikely that you need the full history. If you are happy to wait for it all to download, run:
  96
  97 ```
  98 git clone https://github.com/openstreetmap/openstreetmap-website.git
  99 ```
 100
 101 To clone only the most recent version (~23MB), instead use a 'shallow clone':
 102
 103 ```
 104 git clone --depth=1 https://github.com/openstreetmap/openstreetmap-website.git
 105 ```
 106
 107 If you want to add in the full history later on, perhaps to run `git blame` or `git log`, run `git fetch --depth=1000000`
 108
 109
 110 ## Ruby gems
 111
 112 We use [Bundler](http://gembundler.com/) to manage the rubygems required for the project.
 113
 114 ```
 115 cd openstreetmap-website
 116 bundle install
 117 ```
 118
 119 ## Node.js modules
 120
 121 We use [Yarn](https://yarnpkg.com/) to manage the Node.js modules required for the project.
 122
 123 ```
 124 bundle exec rake yarn:install
 125 ```
 126
 127 ## Prepare local settings file
 128
 129 This is a workaround. [See issues/2185 for details](https://github.com/openstreetmap/openstreetmap-website/issues/2185#issuecomment-508676026).
 130
 131 ```
 132 touch config/settings.local.yml
 133 ```
 134
 135 ## Storage setup
 136
 137 The Rails port needs to be configured with an object storage facility - for
 138 development and testing purposes you can use the example configuration:
 139
 140 ```
 141 cp config/example.storage.yml config/storage.yml
 142 ```
 143
 144 ## Database setup
 145
 146 The Rails Port uses three databases -  one for development, one for testing, and one for production. The database-specific configuration
 147 options are stored in `config/database.yml`, which we need to create from the example template.
 148
 149 ```
 150 cp config/example.database.yml config/database.yml
 151 ```
 152
 153 PostgreSQL is configured to, by default, accept local connections without requiring a username or password. This is fine for development.
 154 If you wish to set up your database differently, then you should change the values found in the `config/database.yml` file, and amend the
 155 instructions below as appropriate.
 156
 157 ### PostgreSQL account setup
 158
 159 We need to create a PostgreSQL role (i.e. user account) for your current user, and it needs to be a superuser so that we can create more databases.
 160
 161 ```
 162 sudo -u postgres -i
 163 createuser -s <username>
 164 exit
 165 ```
 166
 167 ### Create the databases
 168
 169 To create the three databases - for development, testing and production - run:
 170
 171 ```
 172 bundle exec rake db:create
 173 ```
 174
 175 ### PostgreSQL Btree-gist Extension
 176
 177 We need to load the `btree-gist` extension, which is needed for showing changesets on the history tab.
 178
 179 ```
 180 psql -d openstreetmap -c "CREATE EXTENSION btree_gist"
 181 ```
 182
 183 ### PostgreSQL Functions
 184
 185 We need to install some special functions into the PostgreSQL database:
 186
 187 ```
 188 psql -d openstreetmap -f db/functions/functions.sql
 189 ```
 190
 191 ### Database structure
 192
 193 To create all the tables, indexes and constraints, run:
 194
 195 ```
 196 bundle exec rake db:migrate
 197 ```
 198
 199 ## Running the tests
 200
 201 To ensure that everything is set up properly, you should now run:
 202
 203 ```
 204 bundle exec rake test:db
 205 ```
 206
 207 This test will take a few minutes, reporting tests run, assertions, and any errors. If you receive no errors, then your installation is successful.
 208
 209 The unit tests may output parser errors related to "Attribute lat redefined." These can be ignored.
 210
 211 ### Starting the server
 212
 213 Rails comes with a built-in webserver, so that you can test on your own machine without needing a server. Run
 214
 215 ```
 216 bundle exec rails server
 217 ```
 218
 219 You can now view the site in your favourite web-browser at [http://localhost:3000/](http://localhost:3000/)
 220
 221 Note that the OSM map tiles you see aren't created from your local database - they are just the standard map tiles.
 222
 223 # Configuration
 224
 225 After installing this software, you may need to carry out some [configuration steps](CONFIGURE.md), depending on your tasks.
 226
 227 # Installing compiled shared library database functions (optional)
 228
 229 There are special database functions required by a (little-used) API call, the migrations and diff replication. The former two are provided as *either* pure SQL functions or a compiled shared library. The SQL versions are installed as part of the recommended install procedure above and the shared library versions are recommended only if you are running a production server making a lot of `/changes` API calls or need the diff replication functionality.
 230
 231 If you aren't sure which you need, stick with the SQL versions.
 232
 233 Before installing the functions, it's necessary to install the PostgreSQL server development packages. On Ubuntu this means:
 234
 235 ```
 236 sudo apt-get install postgresql-server-dev-all
 237 ```
 238
 239 On Fedora:
 240
 241 ```
 242 sudo dnf install postgresql-devel
 243 ```
 244
 245 The library then needs compiling.
 246
 247 ```
 248 cd db/functions
 249 make libpgosm.so
 250 cd ../..
 251 ```
 252
 253 If you previously installed the SQL versions of these functions, we'll need to delete those before adding the new ones:
 254
 255 ```
 256 psql -d openstreetmap -c "DROP FUNCTION IF EXISTS maptile_for_point"
 257 psql -d openstreetmap -c "DROP FUNCTION IF EXISTS tile_for_point"
 258 ```
 259
 260 Then we create the functions within each database. We're using `pwd` to substitute in the current working directory, since PostgreSQL needs the full path.
 261
 262 ```
 263 psql -d openstreetmap -c "CREATE FUNCTION maptile_for_point(int8, int8, int4) RETURNS int4 AS '`pwd`/db/functions/libpgosm', 'maptile_for_point' LANGUAGE C STRICT"
 264 psql -d openstreetmap -c "CREATE FUNCTION tile_for_point(int4, int4) RETURNS int8 AS '`pwd`/db/functions/libpgosm', 'tile_for_point' LANGUAGE C STRICT"
 265 psql -d openstreetmap -c "CREATE FUNCTION xid_to_int4(xid) RETURNS int4 AS '`pwd`/db/functions/libpgosm', 'xid_to_int4' LANGUAGE C STRICT"
 266 ```