cookbooks/dev/recipes/default.rb

   1 #
   2 # Cookbook:: dev
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2011, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 require "yaml"
  21 require "securerandom"
  22
  23 include_recipe "apache"
  24 include_recipe "passenger"
  25 include_recipe "geoipupdate"
  26 include_recipe "git"
  27 include_recipe "memcached"
  28 include_recipe "munin"
  29 include_recipe "mysql"
  30 include_recipe "nodejs"
  31 include_recipe "php::fpm"
  32 include_recipe "postgresql"
  33 include_recipe "python"
  34
  35 package %w[
  36   php-cgi
  37   php-cli
  38   php-curl
  39   php-db
  40   php-imagick
  41   php-mysql
  42   php-pear
  43   php-pgsql
  44   php-sqlite3
  45   pngcrush
  46   pngquant
  47   python
  48   python-argparse
  49   python-beautifulsoup
  50   python-cheetah
  51   python-dateutil
  52   python-magic
  53   python-psycopg2
  54   python-gdal
  55   g++
  56   gcc
  57   make
  58   autoconf
  59   automake
  60   libtool
  61   libfcgi-dev
  62   libxml2-dev
  63   libmemcached-dev
  64   libboost-regex-dev
  65   libboost-system-dev
  66   libboost-program-options-dev
  67   libboost-date-time-dev
  68   libboost-filesystem-dev
  69   libboost-locale-dev
  70   libpqxx-dev
  71   libcrypto++-dev
  72   libyajl-dev
  73   zlib1g-dev
  74 ]
  75
  76 nodejs_package "svgo"
  77
  78 python_package "geojson"
  79
  80 apache_module "env"
  81 apache_module "expires"
  82 apache_module "headers"
  83 apache_module "proxy"
  84 apache_module "proxy_fcgi"
  85 apache_module "rewrite"
  86 apache_module "suexec"
  87 apache_module "userdir"
  88 apache_module "wsgi"
  89
  90 package "apache2-suexec-pristine"
  91
  92 php_fpm "default" do
  93   template "fpm-default.conf.erb"
  94 end
  95
  96 php_fpm "www" do
  97   action :delete
  98 end
  99
 100 directory "/srv/dev.openstreetmap.org" do
 101   owner "root"
 102   group "root"
 103   mode 0o755
 104 end
 105
 106 template "/srv/dev.openstreetmap.org/index.html" do
 107   source "dev.html.erb"
 108   owner "root"
 109   group "root"
 110   mode 0o644
 111 end
 112
 113 ssl_certificate "dev.openstreetmap.org" do
 114   domains "dev.openstreetmap.org"
 115   notifies :reload, "service[apache2]"
 116 end
 117
 118 apache_site "dev.openstreetmap.org" do
 119   template "apache.dev.erb"
 120 end
 121
 122 package "phppgadmin"
 123
 124 template "/etc/phppgadmin/config.inc.php" do
 125   source "phppgadmin.conf.erb"
 126   owner "root"
 127   group "root"
 128   mode 0o644
 129 end
 130
 131 file "/etc/apache2/conf.d/phppgadmin" do
 132   action :delete
 133 end
 134
 135 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
 136   domains "phppgadmin.dev.openstreetmap.org"
 137   notifies :reload, "service[apache2]"
 138 end
 139
 140 apache_site "phppgadmin.dev.openstreetmap.org" do
 141   template "apache.phppgadmin.erb"
 142 end
 143
 144 search(:accounts, "*:*").each do |account|
 145   name = account["id"]
 146   details = node[:accounts][:users][name] || {}
 147
 148   next unless %w[user administrator].include?(details[:status])
 149
 150   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
 151
 152   next unless File.directory?("#{user_home}/public_html")
 153
 154   port = 7000 + account["uid"].to_i
 155
 156   php_fpm name do
 157     template "fpm.conf.erb"
 158     variables :user => name, :port => port
 159   end
 160
 161   ssl_certificate "#{name}.dev.openstreetmap.org" do
 162     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
 163     notifies :reload, "service[apache2]"
 164   end
 165
 166   apache_site "#{name}.dev.openstreetmap.org" do
 167     template "apache.user.erb"
 168     directory "#{user_home}/public_html"
 169     variables :user => name, :port => port
 170   end
 171
 172   template "/etc/sudoers.d/#{name}" do
 173     source "sudoers.user.erb"
 174     owner "root"
 175     group "root"
 176     mode 0o440
 177     variables :user => name
 178   end
 179 end
 180
 181 if node[:postgresql][:clusters][:"9.5/main"]
 182   postgresql_user "apis" do
 183     cluster "9.5/main"
 184   end
 185
 186   template "/usr/local/bin/cleanup-rails-assets" do
 187     cookbook "web"
 188     source "cleanup-assets.erb"
 189     owner "root"
 190     group "root"
 191     mode 0o755
 192   end
 193
 194   ruby_version = node[:passenger][:ruby_version]
 195
 196   systemd_service "rails-jobs@" do
 197     description "Rails job queue runner"
 198     type "simple"
 199     user "apis"
 200     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
 201     exec_start "/usr/local/bin/bundle#{ruby_version} exec rake jobs:work"
 202     restart "on-failure"
 203     private_tmp true
 204     private_devices true
 205     protect_system "full"
 206     protect_home true
 207     no_new_privileges true
 208   end
 209
 210   systemd_service "cgimap@" do
 211     description "OpenStreetMap API Server"
 212     type "forking"
 213     environment_file "/etc/default/cgimap-%i"
 214     user "apis"
 215     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
 216     exec_reload "/bin/kill -HUP $MAINPID"
 217     private_tmp true
 218     private_devices true
 219     protect_system "full"
 220     protect_home true
 221     no_new_privileges true
 222     restart "on-failure"
 223   end
 224
 225   cgimap_port = 9000
 226
 227   node[:dev][:rails].each do |name, details|
 228     database_name = details[:database] || "apis_#{name}"
 229     site_name = "#{name}.apis.dev.openstreetmap.org"
 230     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
 231     log_directory = "#{site_directory}/logs"
 232     rails_directory = "#{site_directory}/rails"
 233     cgimap_directory = "#{site_directory}/cgimap"
 234     gpx_directory = "#{site_directory}/gpx"
 235
 236     if details[:repository]
 237       site_aliases = details[:aliases] || []
 238       secret_key_base = details[:secret_key_base] || SecureRandom.base64(96)
 239
 240       node.normal[:dev][:rails][name][:secret_key_base] = secret_key_base
 241
 242       postgresql_database database_name do
 243         cluster "9.5/main"
 244         owner "apis"
 245       end
 246
 247       postgresql_extension "#{database_name}_btree_gist" do
 248         cluster "9.5/main"
 249         database database_name
 250         extension "btree_gist"
 251       end
 252
 253       directory site_directory do
 254         owner "apis"
 255         group "apis"
 256         mode 0o755
 257       end
 258
 259       directory log_directory do
 260         owner "apis"
 261         group "apis"
 262         mode 0o755
 263       end
 264
 265       directory gpx_directory do
 266         owner "apis"
 267         group "apis"
 268         mode 0o755
 269       end
 270
 271       directory "#{gpx_directory}/traces" do
 272         owner "apis"
 273         group "apis"
 274         mode 0o755
 275       end
 276
 277       directory "#{gpx_directory}/images" do
 278         owner "apis"
 279         group "apis"
 280         mode 0o755
 281       end
 282
 283       rails_port site_name do
 284         ruby ruby_version
 285         directory rails_directory
 286         user "apis"
 287         group "apis"
 288         repository details[:repository]
 289         revision details[:revision]
 290         database_port node[:postgresql][:clusters][:"9.5/main"][:port]
 291         database_name database_name
 292         database_username "apis"
 293         gpx_dir gpx_directory
 294         log_path "#{log_directory}/rails.log"
 295         memcache_servers ["127.0.0.1"]
 296         csp_enforce true
 297         run_migrations true
 298         trace_use_job_queue true
 299       end
 300
 301       template "#{rails_directory}/config/initializers/setup.rb" do
 302         source "rails.setup.rb.erb"
 303         owner "apis"
 304         group "apis"
 305         mode 0o644
 306         variables :site => site_name
 307         notifies :restart, "rails_port[#{site_name}]"
 308       end
 309
 310       service "rails-jobs@#{name}" do
 311         action [:enable, :start]
 312         supports :restart => true
 313         subscribes :restart, "rails_port[#{site_name}]"
 314         subscribes :restart, "systemd_service[#{name}]"
 315         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
 316       end
 317
 318       if details[:cgimap_repository]
 319         git cgimap_directory do
 320           action :sync
 321           repository details[:cgimap_repository]
 322           revision details[:cgimap_revision]
 323           user "apis"
 324           group "apis"
 325         end
 326
 327         execute "#{cgimap_directory}/autogen.sh" do
 328           action :nothing
 329           command "./autogen.sh"
 330           cwd cgimap_directory
 331           user "apis"
 332           group "apis"
 333           subscribes :run, "git[#{cgimap_directory}]", :immediate
 334         end
 335
 336         execute "#{cgimap_directory}/configure" do
 337           action :nothing
 338           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
 339           cwd cgimap_directory
 340           user "apis"
 341           group "apis"
 342           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediate
 343         end
 344
 345         execute "#{cgimap_directory}/Makefile" do
 346           action :nothing
 347           command "make -j"
 348           cwd cgimap_directory
 349           user "apis"
 350           group "apis"
 351           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediate
 352           notifies :restart, "service[cgimap@#{name}]"
 353         end
 354
 355         template "/etc/default/cgimap-#{name}" do
 356           source "cgimap.environment.erb"
 357           owner "root"
 358           group "root"
 359           mode 0o640
 360           variables :cgimap_port => cgimap_port,
 361                     :database_port => node[:postgresql][:clusters][:"9.5/main"][:port],
 362                     :database_name => database_name,
 363                     :log_directory => log_directory
 364           notifies :restart, "service[cgimap@#{name}]"
 365         end
 366
 367         service "cgimap@#{name}" do
 368           action [:start, :enable]
 369         end
 370       end
 371
 372       ssl_certificate site_name do
 373         domains [site_name] + site_aliases
 374         notifies :reload, "service[apache2]"
 375       end
 376
 377       apache_site site_name do
 378         template "apache.rails.erb"
 379         variables :application_name => name,
 380                   :aliases => site_aliases,
 381                   :secret_key_base => secret_key_base,
 382                   :cgimap_enabled => details.key?(:cgimap_repository),
 383                   :cgimap_port => cgimap_port
 384       end
 385
 386       template "/etc/logrotate.d/apis-#{name}" do
 387         source "logrotate.apis.erb"
 388         owner "root"
 389         group "root"
 390         mode 0o644
 391         variables :name => name,
 392                   :log_directory => log_directory,
 393                   :rails_directory => rails_directory
 394       end
 395
 396       cgimap_port += 1
 397     else
 398       file "/etc/logrotate.d/apis-#{name}" do
 399         action :delete
 400       end
 401
 402       apache_site site_name do
 403         action [:delete]
 404       end
 405
 406       service "cgimap@#{name}" do
 407         action [:stop, :disable]
 408       end
 409
 410       file "/etc/default/cgimap-#{name}" do
 411         action :delete
 412       end
 413
 414       directory site_directory do
 415         action :delete
 416         recursive true
 417       end
 418
 419       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
 420         action :delete
 421       end
 422
 423       postgresql_database database_name do
 424         action :drop
 425         cluster "9.5/main"
 426       end
 427
 428       node.normal[:dev][:rails].delete(name)
 429     end
 430   end
 431
 432   directory "/srv/apis.dev.openstreetmap.org" do
 433     owner "apis"
 434     group "apis"
 435     mode 0o755
 436   end
 437
 438   template "/srv/apis.dev.openstreetmap.org/index.html" do
 439     source "apis.html.erb"
 440     owner "apis"
 441     group "apis"
 442     mode 0o644
 443   end
 444
 445   ssl_certificate "apis.dev.openstreetmap.org" do
 446     domains "apis.dev.openstreetmap.org"
 447     notifies :reload, "service[apache2]"
 448   end
 449
 450   apache_site "apis.dev.openstreetmap.org" do
 451     template "apache.apis.erb"
 452   end
 453
 454   node[:postgresql][:clusters].each_key do |name|
 455     postgresql_munin name do
 456       cluster name
 457       database "ALL"
 458     end
 459   end
 460 end
 461
 462 directory "/srv/ooc.openstreetmap.org" do
 463   owner "root"
 464   group "root"
 465   mode 0o755
 466 end
 467
 468 remote_directory "/srv/ooc.openstreetmap.org/html" do
 469   source "ooc"
 470   owner "root"
 471   group "root"
 472   mode 0o755
 473   files_owner "root"
 474   files_group "root"
 475   files_mode 0o644
 476 end
 477
 478 ssl_certificate "ooc.openstreetmap.org" do
 479   domains ["ooc.openstreetmap.org",
 480            "a.ooc.openstreetmap.org",
 481            "b.ooc.openstreetmap.org",
 482            "c.ooc.openstreetmap.org"]
 483   notifies :reload, "service[apache2]"
 484 end
 485
 486 apache_site "ooc.openstreetmap.org" do
 487   template "apache.ooc.erb"
 488 end