cookbooks/dev/recipes/default.rb

   1 #
   2 # Cookbook:: dev
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2011, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 require "yaml"
  21 require "securerandom"
  22
  23 include_recipe "apache"
  24 include_recipe "passenger"
  25 include_recipe "geoipupdate"
  26 include_recipe "git"
  27 include_recipe "memcached"
  28 include_recipe "munin"
  29 include_recipe "mysql"
  30 include_recipe "nodejs"
  31 include_recipe "postgresql"
  32 include_recipe "python"
  33
  34 package %w[
  35   php
  36   php-cgi
  37   php-cli
  38   php-curl
  39   php-db
  40   php-fpm
  41   php-imagick
  42   php-mysql
  43   php-pear
  44   php-pgsql
  45   php-sqlite3
  46   pngcrush
  47   pngquant
  48   python
  49   python-argparse
  50   python-beautifulsoup
  51   python-cheetah
  52   python-dateutil
  53   python-magic
  54   python-psycopg2
  55   python-gdal
  56   g++
  57   gcc
  58   make
  59   autoconf
  60   automake
  61   libtool
  62   libfcgi-dev
  63   libxml2-dev
  64   libmemcached-dev
  65   libboost-regex-dev
  66   libboost-system-dev
  67   libboost-program-options-dev
  68   libboost-date-time-dev
  69   libboost-filesystem-dev
  70   libboost-locale-dev
  71   libpqxx-dev
  72   libcrypto++-dev
  73   libyajl-dev
  74   zlib1g-dev
  75 ]
  76
  77 nodejs_package "svgo"
  78
  79 python_package "geojson"
  80
  81 apache_module "env"
  82 apache_module "expires"
  83 apache_module "headers"
  84 apache_module "proxy"
  85 apache_module "proxy_fcgi"
  86 apache_module "rewrite"
  87 apache_module "suexec"
  88 apache_module "userdir"
  89 apache_module "wsgi"
  90
  91 package "apache2-suexec-pristine"
  92
  93 service "php7.2-fpm" do
  94   action [:enable, :start]
  95 end
  96
  97 template "/etc/php/7.2/fpm/pool.d/default.conf" do
  98   source "fpm-default.conf.erb"
  99   owner "root"
 100   group "root"
 101   mode 0o644
 102   notifies :reload, "service[php7.2-fpm]"
 103 end
 104
 105 file "/etc/php/7.2/fpm/pool.d/www.conf" do
 106   action :delete
 107   notifies :reload, "service[php7.2-fpm]"
 108 end
 109
 110 directory "/srv/dev.openstreetmap.org" do
 111   owner "root"
 112   group "root"
 113   mode 0o755
 114 end
 115
 116 template "/srv/dev.openstreetmap.org/index.html" do
 117   source "dev.html.erb"
 118   owner "root"
 119   group "root"
 120   mode 0o644
 121 end
 122
 123 ssl_certificate "dev.openstreetmap.org" do
 124   domains "dev.openstreetmap.org"
 125   notifies :reload, "service[apache2]"
 126 end
 127
 128 apache_site "dev.openstreetmap.org" do
 129   template "apache.dev.erb"
 130 end
 131
 132 package "phppgadmin"
 133
 134 template "/etc/phppgadmin/config.inc.php" do
 135   source "phppgadmin.conf.erb"
 136   owner "root"
 137   group "root"
 138   mode 0o644
 139 end
 140
 141 file "/etc/apache2/conf.d/phppgadmin" do
 142   action :delete
 143 end
 144
 145 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
 146   domains "phppgadmin.dev.openstreetmap.org"
 147   notifies :reload, "service[apache2]"
 148 end
 149
 150 apache_site "phppgadmin.dev.openstreetmap.org" do
 151   template "apache.phppgadmin.erb"
 152 end
 153
 154 search(:accounts, "*:*").each do |account|
 155   name = account["id"]
 156   details = node[:accounts][:users][name] || {}
 157
 158   next unless %w[user administrator].include?(details[:status])
 159
 160   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
 161
 162   next unless File.directory?("#{user_home}/public_html")
 163
 164   port = 7000 + account["uid"].to_i
 165
 166   template "/etc/php/7.2/fpm/pool.d/#{name}.conf" do
 167     source "fpm.conf.erb"
 168     owner "root"
 169     group "root"
 170     mode 0o644
 171     variables :user => name, :port => port
 172     notifies :reload, "service[php7.2-fpm]"
 173   end
 174
 175   ssl_certificate "#{name}.dev.openstreetmap.org" do
 176     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
 177     notifies :reload, "service[apache2]"
 178   end
 179
 180   apache_site "#{name}.dev.openstreetmap.org" do
 181     template "apache.user.erb"
 182     directory "#{user_home}/public_html"
 183     variables :user => name, :port => port
 184   end
 185
 186   template "/etc/sudoers.d/#{name}" do
 187     source "sudoers.user.erb"
 188     owner "root"
 189     group "root"
 190     mode 0o440
 191     variables :user => name
 192   end
 193 end
 194
 195 if node[:postgresql][:clusters][:"9.5/main"]
 196   postgresql_user "apis" do
 197     cluster "9.5/main"
 198   end
 199
 200   template "/usr/local/bin/cleanup-rails-assets" do
 201     cookbook "web"
 202     source "cleanup-assets.erb"
 203     owner "root"
 204     group "root"
 205     mode 0o755
 206   end
 207
 208   ruby_version = node[:passenger][:ruby_version]
 209
 210   systemd_service "rails-jobs@" do
 211     description "Rails job queue runner"
 212     type "simple"
 213     user "apis"
 214     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
 215     exec_start "/usr/local/bin/bundle#{ruby_version} exec rake jobs:work"
 216     restart "on-failure"
 217     private_tmp true
 218     private_devices true
 219     protect_system "full"
 220     protect_home true
 221     no_new_privileges true
 222   end
 223
 224   systemd_service "cgimap@" do
 225     description "OpenStreetMap API Server"
 226     type "forking"
 227     environment_file "/etc/default/cgimap-%i"
 228     user "apis"
 229     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
 230     exec_reload "/bin/kill -HUP $MAINPID"
 231     private_tmp true
 232     private_devices true
 233     protect_system "full"
 234     protect_home true
 235     no_new_privileges true
 236     restart "on-failure"
 237   end
 238
 239   cgimap_port = 9000
 240
 241   node[:dev][:rails].each do |name, details|
 242     database_name = details[:database] || "apis_#{name}"
 243     site_name = "#{name}.apis.dev.openstreetmap.org"
 244     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
 245     log_directory = "#{site_directory}/logs"
 246     rails_directory = "#{site_directory}/rails"
 247     cgimap_directory = "#{site_directory}/cgimap"
 248     gpx_directory = "#{site_directory}/gpx"
 249
 250     if details[:repository]
 251       site_aliases = details[:aliases] || []
 252       secret_key_base = details[:secret_key_base] || SecureRandom.base64(96)
 253
 254       node.normal[:dev][:rails][name][:secret_key_base] = secret_key_base
 255
 256       postgresql_database database_name do
 257         cluster "9.5/main"
 258         owner "apis"
 259       end
 260
 261       postgresql_extension "#{database_name}_btree_gist" do
 262         cluster "9.5/main"
 263         database database_name
 264         extension "btree_gist"
 265       end
 266
 267       directory site_directory do
 268         owner "apis"
 269         group "apis"
 270         mode 0o755
 271       end
 272
 273       directory log_directory do
 274         owner "apis"
 275         group "apis"
 276         mode 0o755
 277       end
 278
 279       directory gpx_directory do
 280         owner "apis"
 281         group "apis"
 282         mode 0o755
 283       end
 284
 285       directory "#{gpx_directory}/traces" do
 286         owner "apis"
 287         group "apis"
 288         mode 0o755
 289       end
 290
 291       directory "#{gpx_directory}/images" do
 292         owner "apis"
 293         group "apis"
 294         mode 0o755
 295       end
 296
 297       rails_port site_name do
 298         ruby ruby_version
 299         directory rails_directory
 300         user "apis"
 301         group "apis"
 302         repository details[:repository]
 303         revision details[:revision]
 304         database_port node[:postgresql][:clusters][:"9.5/main"][:port]
 305         database_name database_name
 306         database_username "apis"
 307         gpx_dir gpx_directory
 308         log_path "#{log_directory}/rails.log"
 309         memcache_servers ["127.0.0.1"]
 310         csp_enforce true
 311         run_migrations true
 312         trace_use_job_queue true
 313       end
 314
 315       template "#{rails_directory}/config/initializers/setup.rb" do
 316         source "rails.setup.rb.erb"
 317         owner "apis"
 318         group "apis"
 319         mode 0o644
 320         variables :site => site_name
 321         notifies :restart, "rails_port[#{site_name}]"
 322       end
 323
 324       service "rails-jobs@#{name}" do
 325         action [:enable, :start]
 326         supports :restart => true
 327         subscribes :restart, "rails_port[#{site_name}]"
 328         subscribes :restart, "systemd_service[#{name}]"
 329         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
 330       end
 331
 332       if details[:cgimap_repository]
 333         git cgimap_directory do
 334           action :sync
 335           repository details[:cgimap_repository]
 336           revision details[:cgimap_revision]
 337           user "apis"
 338           group "apis"
 339         end
 340
 341         execute "#{cgimap_directory}/autogen.sh" do
 342           action :nothing
 343           command "./autogen.sh"
 344           cwd cgimap_directory
 345           user "apis"
 346           group "apis"
 347           subscribes :run, "git[#{cgimap_directory}]", :immediate
 348         end
 349
 350         execute "#{cgimap_directory}/configure" do
 351           action :nothing
 352           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
 353           cwd cgimap_directory
 354           user "apis"
 355           group "apis"
 356           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediate
 357         end
 358
 359         execute "#{cgimap_directory}/Makefile" do
 360           action :nothing
 361           command "make -j"
 362           cwd cgimap_directory
 363           user "apis"
 364           group "apis"
 365           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediate
 366           notifies :restart, "service[cgimap@#{name}]"
 367         end
 368
 369         template "/etc/default/cgimap-#{name}" do
 370           source "cgimap.environment.erb"
 371           owner "root"
 372           group "root"
 373           mode 0o640
 374           variables :cgimap_port => cgimap_port,
 375                     :database_port => node[:postgresql][:clusters][:"9.5/main"][:port],
 376                     :database_name => database_name,
 377                     :log_directory => log_directory
 378           notifies :restart, "service[cgimap@#{name}]"
 379         end
 380
 381         service "cgimap@#{name}" do
 382           action [:start, :enable]
 383         end
 384       end
 385
 386       ssl_certificate site_name do
 387         domains [site_name] + site_aliases
 388         notifies :reload, "service[apache2]"
 389       end
 390
 391       apache_site site_name do
 392         template "apache.rails.erb"
 393         variables :application_name => name,
 394                   :aliases => site_aliases,
 395                   :secret_key_base => secret_key_base,
 396                   :cgimap_enabled => details.key?(:cgimap_repository),
 397                   :cgimap_port => cgimap_port
 398       end
 399
 400       template "/etc/logrotate.d/apis-#{name}" do
 401         source "logrotate.apis.erb"
 402         owner "root"
 403         group "root"
 404         mode 0o644
 405         variables :name => name,
 406                   :log_directory => log_directory,
 407                   :rails_directory => rails_directory
 408       end
 409
 410       cgimap_port += 1
 411     else
 412       file "/etc/logrotate.d/apis-#{name}" do
 413         action :delete
 414       end
 415
 416       apache_site site_name do
 417         action [:delete]
 418       end
 419
 420       service "cgimap@#{name}" do
 421         action [:stop, :disable]
 422       end
 423
 424       file "/etc/default/cgimap-#{name}" do
 425         action :delete
 426       end
 427
 428       directory site_directory do
 429         action :delete
 430         recursive true
 431       end
 432
 433       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
 434         action :delete
 435       end
 436
 437       postgresql_database database_name do
 438         action :drop
 439         cluster "9.5/main"
 440       end
 441
 442       node.normal[:dev][:rails].delete(name)
 443     end
 444   end
 445
 446   directory "/srv/apis.dev.openstreetmap.org" do
 447     owner "apis"
 448     group "apis"
 449     mode 0o755
 450   end
 451
 452   template "/srv/apis.dev.openstreetmap.org/index.html" do
 453     source "apis.html.erb"
 454     owner "apis"
 455     group "apis"
 456     mode 0o644
 457   end
 458
 459   ssl_certificate "apis.dev.openstreetmap.org" do
 460     domains "apis.dev.openstreetmap.org"
 461     notifies :reload, "service[apache2]"
 462   end
 463
 464   apache_site "apis.dev.openstreetmap.org" do
 465     template "apache.apis.erb"
 466   end
 467
 468   node[:postgresql][:clusters].each_key do |name|
 469     postgresql_munin name do
 470       cluster name
 471       database "ALL"
 472     end
 473   end
 474 end
 475
 476 directory "/srv/ooc.openstreetmap.org" do
 477   owner "root"
 478   group "root"
 479   mode 0o755
 480 end
 481
 482 remote_directory "/srv/ooc.openstreetmap.org/html" do
 483   source "ooc"
 484   owner "root"
 485   group "root"
 486   mode 0o755
 487   files_owner "root"
 488   files_group "root"
 489   files_mode 0o644
 490 end
 491
 492 ssl_certificate "ooc.openstreetmap.org" do
 493   domains ["ooc.openstreetmap.org",
 494            "a.ooc.openstreetmap.org",
 495            "b.ooc.openstreetmap.org",
 496            "c.ooc.openstreetmap.org"]
 497   notifies :reload, "service[apache2]"
 498 end
 499
 500 apache_site "ooc.openstreetmap.org" do
 501   template "apache.ooc.erb"
 502 end