cookbooks/dev/recipes/default.rb

   1 #
   2 # Cookbook Name:: dev
   3 # Recipe:: default
   4 #
   5 # Copyright 2011, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 require "yaml"
  21 require "securerandom"
  22
  23 include_recipe "apache"
  24 include_recipe "passenger"
  25 include_recipe "git"
  26 include_recipe "memcached"
  27 include_recipe "mysql"
  28 include_recipe "nodejs"
  29 include_recipe "postgresql"
  30 include_recipe "python"
  31
  32 package %w[
  33   php
  34   php-cgi
  35   php-cli
  36   php-curl
  37   php-db
  38   php-fpm
  39   php-imagick
  40   php-mysql
  41   php-pear
  42   php-pgsql
  43   php-sqlite3
  44   pngcrush
  45   pngquant
  46   python
  47   python-argparse
  48   python-beautifulsoup
  49   python-cheetah
  50   python-dateutil
  51   python-magic
  52   python-psycopg2
  53   python-gdal
  54   g++
  55   gcc
  56   make
  57   autoconf
  58   automake
  59   libtool
  60   libfcgi-dev
  61   libxml2-dev
  62   libmemcached-dev
  63   libboost-regex-dev
  64   libboost-system-dev
  65   libboost-program-options-dev
  66   libboost-date-time-dev
  67   libboost-filesystem-dev
  68   libboost-locale-dev
  69   libpqxx-dev
  70   libcrypto++-dev
  71   libyajl-dev
  72   zlib1g-dev
  73 ]
  74
  75 nodejs_package "svgo"
  76
  77 python_package "geojson"
  78
  79 apache_module "env"
  80 apache_module "expires"
  81 apache_module "headers"
  82 apache_module "proxy"
  83 apache_module "proxy_fcgi"
  84 apache_module "rewrite"
  85 apache_module "suexec"
  86 apache_module "userdir"
  87 apache_module "wsgi"
  88
  89 package "apache2-suexec-pristine"
  90
  91 service "php7.2-fpm" do
  92   action [:enable, :start]
  93 end
  94
  95 template "/etc/php/7.2/fpm/pool.d/default.conf" do
  96   source "fpm-default.conf.erb"
  97   owner "root"
  98   group "root"
  99   mode 0o644
 100   notifies :reload, "service[php7.2-fpm]"
 101 end
 102
 103 file "/etc/php/7.2/fpm/pool.d/www.conf" do
 104   action :delete
 105   notifies :reload, "service[php7.2-fpm]"
 106 end
 107
 108 directory "/srv/dev.openstreetmap.org" do
 109   owner "root"
 110   group "root"
 111   mode 0o755
 112 end
 113
 114 template "/srv/dev.openstreetmap.org/index.html" do
 115   source "dev.html.erb"
 116   owner "root"
 117   group "root"
 118   mode 0o644
 119 end
 120
 121 ssl_certificate "dev.openstreetmap.org" do
 122   domains "dev.openstreetmap.org"
 123   notifies :reload, "service[apache2]"
 124 end
 125
 126 apache_site "dev.openstreetmap.org" do
 127   template "apache.dev.erb"
 128 end
 129
 130 package "phppgadmin"
 131
 132 template "/etc/phppgadmin/config.inc.php" do
 133   source "phppgadmin.conf.erb"
 134   owner "root"
 135   group "root"
 136   mode 0o644
 137 end
 138
 139 file "/etc/apache2/conf.d/phppgadmin" do
 140   action :delete
 141 end
 142
 143 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
 144   domains "phppgadmin.dev.openstreetmap.org"
 145   notifies :reload, "service[apache2]"
 146 end
 147
 148 apache_site "phppgadmin.dev.openstreetmap.org" do
 149   template "apache.phppgadmin.erb"
 150 end
 151
 152 search(:accounts, "*:*").each do |account|
 153   name = account["id"]
 154   details = node[:accounts][:users][name] || {}
 155
 156   next unless %w[user administrator].include?(details[:status])
 157
 158   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
 159
 160   next unless File.directory?("#{user_home}/public_html")
 161
 162   port = 7000 + account["uid"].to_i
 163
 164   template "/etc/php/7.2/fpm/pool.d/#{name}.conf" do
 165     source "fpm.conf.erb"
 166     owner "root"
 167     group "root"
 168     mode 0o644
 169     variables :user => name, :port => port
 170     notifies :reload, "service[php7.2-fpm]"
 171   end
 172
 173   ssl_certificate "#{name}.dev.openstreetmap.org" do
 174     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
 175     notifies :reload, "service[apache2]"
 176   end
 177
 178   apache_site "#{name}.dev.openstreetmap.org" do
 179     template "apache.user.erb"
 180     directory "#{user_home}/public_html"
 181     variables :user => name, :port => port
 182   end
 183
 184   template "/etc/sudoers.d/#{name}" do
 185     source "sudoers.user.erb"
 186     owner "root"
 187     group "root"
 188     mode 0o440
 189     variables :user => name
 190   end
 191 end
 192
 193 if node[:postgresql][:clusters][:"9.5/main"]
 194   postgresql_user "apis" do
 195     cluster "9.5/main"
 196   end
 197
 198   template "/usr/local/bin/cleanup-rails-assets" do
 199     cookbook "web"
 200     source "cleanup-assets.erb"
 201     owner "root"
 202     group "root"
 203     mode 0o755
 204   end
 205
 206   ruby_version = node[:passenger][:ruby_version]
 207
 208   systemd_service "rails-jobs@" do
 209     description "Rails job queue runner"
 210     type "simple"
 211     user "apis"
 212     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
 213     exec_start "/usr/local/bin/bundle#{ruby_version} exec rake jobs:work"
 214     restart "on-failure"
 215     private_tmp true
 216     private_devices true
 217     protect_system "full"
 218     protect_home true
 219     no_new_privileges true
 220   end
 221
 222   systemd_service "cgimap@" do
 223     description "OpenStreetMap API Server"
 224     type "forking"
 225     environment_file "/etc/default/cgimap-%i"
 226     user "apis"
 227     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
 228     exec_reload "/bin/kill -HUP $MAINPID"
 229     private_tmp true
 230     private_devices true
 231     protect_system "full"
 232     protect_home true
 233     no_new_privileges true
 234     restart "on-failure"
 235   end
 236
 237   cgimap_port = 9000
 238
 239   node[:dev][:rails].each do |name, details|
 240     database_name = details[:database] || "apis_#{name}"
 241     site_name = "#{name}.apis.dev.openstreetmap.org"
 242     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
 243     log_directory = "#{site_directory}/logs"
 244     rails_directory = "#{site_directory}/rails"
 245     cgimap_directory = "#{site_directory}/cgimap"
 246     gpx_directory = "#{site_directory}/gpx"
 247
 248     if details[:repository]
 249       site_aliases = details[:aliases] || []
 250       secret_key_base = details[:secret_key_base] || SecureRandom.base64(96)
 251
 252       node.normal[:dev][:rails][name][:secret_key_base] = secret_key_base
 253
 254       postgresql_database database_name do
 255         cluster "9.5/main"
 256         owner "apis"
 257       end
 258
 259       postgresql_extension "#{database_name}_btree_gist" do
 260         cluster "9.5/main"
 261         database database_name
 262         extension "btree_gist"
 263       end
 264
 265       directory site_directory do
 266         owner "apis"
 267         group "apis"
 268         mode 0o755
 269       end
 270
 271       directory log_directory do
 272         owner "apis"
 273         group "apis"
 274         mode 0o755
 275       end
 276
 277       directory gpx_directory do
 278         owner "apis"
 279         group "apis"
 280         mode 0o755
 281       end
 282
 283       directory "#{gpx_directory}/traces" do
 284         owner "apis"
 285         group "apis"
 286         mode 0o755
 287       end
 288
 289       directory "#{gpx_directory}/images" do
 290         owner "apis"
 291         group "apis"
 292         mode 0o755
 293       end
 294
 295       rails_port site_name do
 296         ruby ruby_version
 297         directory rails_directory
 298         user "apis"
 299         group "apis"
 300         repository details[:repository]
 301         revision details[:revision]
 302         database_port node[:postgresql][:clusters][:"9.5/main"][:port]
 303         database_name database_name
 304         database_username "apis"
 305         gpx_dir gpx_directory
 306         log_path "#{log_directory}/rails.log"
 307         memcache_servers ["127.0.0.1"]
 308         csp_enforce true
 309         run_migrations true
 310         trace_use_job_queue true
 311       end
 312
 313       template "#{rails_directory}/config/initializers/setup.rb" do
 314         source "rails.setup.rb.erb"
 315         owner "apis"
 316         group "apis"
 317         mode 0o644
 318         variables :site => site_name
 319         notifies :restart, "rails_port[#{site_name}]"
 320       end
 321
 322       service "rails-jobs@#{name}" do
 323         action [:enable, :start]
 324         supports :restart => true
 325         subscribes :restart, "rails_port[#{site_name}]"
 326         subscribes :restart, "systemd_service[#{name}]"
 327         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
 328       end
 329
 330       if details[:cgimap_repository]
 331         git cgimap_directory do
 332           action :sync
 333           repository details[:cgimap_repository]
 334           revision details[:cgimap_revision]
 335           user "apis"
 336           group "apis"
 337         end
 338
 339         execute "#{cgimap_directory}/autogen.sh" do
 340           action :nothing
 341           command "./autogen.sh"
 342           cwd cgimap_directory
 343           user "apis"
 344           group "apis"
 345           subscribes :run, "git[#{cgimap_directory}]", :immediate
 346         end
 347
 348         execute "#{cgimap_directory}/configure" do
 349           action :nothing
 350           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
 351           cwd cgimap_directory
 352           user "apis"
 353           group "apis"
 354           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediate
 355         end
 356
 357         execute "#{cgimap_directory}/Makefile" do
 358           action :nothing
 359           command "make -j"
 360           cwd cgimap_directory
 361           user "apis"
 362           group "apis"
 363           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediate
 364           notifies :restart, "service[cgimap@#{name}]"
 365         end
 366
 367         template "/etc/default/cgimap-#{name}" do
 368           source "cgimap.environment.erb"
 369           owner "root"
 370           group "root"
 371           mode 0o640
 372           variables :cgimap_port => cgimap_port,
 373                     :database_port => node[:postgresql][:clusters][:"9.5/main"][:port],
 374                     :database_name => database_name,
 375                     :log_directory => log_directory
 376           notifies :restart, "service[cgimap@#{name}]"
 377         end
 378
 379         service "cgimap@#{name}" do
 380           action [:start, :enable]
 381         end
 382       end
 383
 384       ssl_certificate site_name do
 385         domains [site_name] + site_aliases
 386         notifies :reload, "service[apache2]"
 387       end
 388
 389       apache_site site_name do
 390         template "apache.rails.erb"
 391         variables :application_name => name,
 392                   :aliases => site_aliases,
 393                   :secret_key_base => secret_key_base,
 394                   :cgimap_enabled => details.key?(:cgimap_repository),
 395                   :cgimap_port => cgimap_port
 396       end
 397
 398       template "/etc/logrotate.d/apis-#{name}" do
 399         source "logrotate.apis.erb"
 400         owner "root"
 401         group "root"
 402         mode 0o644
 403         variables :name => name,
 404                   :log_directory => log_directory,
 405                   :rails_directory => rails_directory
 406       end
 407
 408       cgimap_port += 1
 409     else
 410       file "/etc/logrotate.d/apis-#{name}" do
 411         action :delete
 412       end
 413
 414       apache_site site_name do
 415         action [:delete]
 416       end
 417
 418       service "cgimap@#{name}" do
 419         action [:stop, :disable]
 420       end
 421
 422       file "/etc/default/cgimap-#{name}" do
 423         action :delete
 424       end
 425
 426       directory site_directory do
 427         action :delete
 428         recursive true
 429       end
 430
 431       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
 432         action :delete
 433       end
 434
 435       postgresql_database database_name do
 436         action :drop
 437         cluster "9.5/main"
 438       end
 439
 440       node.normal[:dev][:rails].delete(name)
 441     end
 442   end
 443
 444   directory "/srv/apis.dev.openstreetmap.org" do
 445     owner "apis"
 446     group "apis"
 447     mode 0o755
 448   end
 449
 450   template "/srv/apis.dev.openstreetmap.org/index.html" do
 451     source "apis.html.erb"
 452     owner "apis"
 453     group "apis"
 454     mode 0o644
 455   end
 456
 457   ssl_certificate "apis.dev.openstreetmap.org" do
 458     domains "apis.dev.openstreetmap.org"
 459     notifies :reload, "service[apache2]"
 460   end
 461
 462   apache_site "apis.dev.openstreetmap.org" do
 463     template "apache.apis.erb"
 464   end
 465
 466   node[:postgresql][:clusters].each_key do |name|
 467     postgresql_munin name do
 468       cluster name
 469       database "ALL"
 470     end
 471   end
 472 end
 473
 474 directory "/srv/ooc.openstreetmap.org" do
 475   owner "root"
 476   group "root"
 477   mode 0o755
 478 end
 479
 480 remote_directory "/srv/ooc.openstreetmap.org/html" do
 481   source "ooc"
 482   owner "root"
 483   group "root"
 484   mode 0o755
 485   files_owner "root"
 486   files_group "root"
 487   files_mode 0o644
 488 end
 489
 490 ssl_certificate "ooc.openstreetmap.org" do
 491   domains ["ooc.openstreetmap.org",
 492            "a.ooc.openstreetmap.org",
 493            "b.ooc.openstreetmap.org",
 494            "c.ooc.openstreetmap.org"]
 495   notifies :reload, "service[apache2]"
 496 end
 497
 498 apache_site "ooc.openstreetmap.org" do
 499   template "apache.ooc.erb"
 500 end