cookbooks/dev/recipes/default.rb

   1 #
   2 # Cookbook:: dev
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2011, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 require "yaml"
  21 require "securerandom"
  22
  23 include_recipe "apache"
  24 include_recipe "passenger"
  25 include_recipe "geoipupdate"
  26 include_recipe "git"
  27 include_recipe "memcached"
  28 include_recipe "munin"
  29 include_recipe "mysql"
  30 include_recipe "nodejs"
  31 include_recipe "php::fpm"
  32 include_recipe "postgresql"
  33 include_recipe "python"
  34 include_recipe "ruby"
  35
  36 package %w[
  37   php-cgi
  38   php-cli
  39   php-curl
  40   php-db
  41   php-imagick
  42   php-mysql
  43   php-pear
  44   php-pgsql
  45   php-sqlite3
  46   pngcrush
  47   pngquant
  48   python3
  49   python3-bs4
  50   python3-cheetah
  51   python3-dateutil
  52   python3-magic
  53   python3-psycopg2
  54   python3-gdal
  55   g++
  56   gcc
  57   make
  58   autoconf
  59   automake
  60   libtool
  61   libargon2-dev
  62   libfcgi-dev
  63   libxml2-dev
  64   libmemcached-dev
  65   libboost-regex-dev
  66   libboost-system-dev
  67   libboost-program-options-dev
  68   libboost-date-time-dev
  69   libboost-filesystem-dev
  70   libboost-locale-dev
  71   libpqxx-dev
  72   libcrypto++-dev
  73   libyajl-dev
  74   libfmt-dev
  75   zlib1g-dev
  76 ]
  77
  78 nodejs_package "svgo"
  79
  80 python_package "geojson" do
  81   python_version "3"
  82 end
  83
  84 apache_module "env"
  85 apache_module "expires"
  86 apache_module "headers"
  87 apache_module "proxy"
  88 apache_module "proxy_fcgi"
  89 apache_module "rewrite"
  90 apache_module "suexec"
  91 apache_module "userdir"
  92
  93 apache_module "wsgi" do
  94   package "libapache2-mod-wsgi-py3"
  95 end
  96
  97 package "apache2-suexec-pristine"
  98
  99 php_fpm "default" do
 100   pm_max_children 10
 101   pm_start_servers 4
 102   pm_min_spare_servers 2
 103   pm_max_spare_servers 6
 104 end
 105
 106 php_fpm "www" do
 107   action :delete
 108 end
 109
 110 directory "/srv/dev.openstreetmap.org" do
 111   owner "root"
 112   group "root"
 113   mode "755"
 114 end
 115
 116 template "/srv/dev.openstreetmap.org/index.html" do
 117   source "dev.html.erb"
 118   owner "root"
 119   group "root"
 120   mode "644"
 121 end
 122
 123 ssl_certificate "dev.openstreetmap.org" do
 124   domains "dev.openstreetmap.org"
 125   notifies :reload, "service[apache2]"
 126 end
 127
 128 apache_site "dev.openstreetmap.org" do
 129   template "apache.dev.erb"
 130 end
 131
 132 package "phppgadmin"
 133
 134 template "/etc/phppgadmin/config.inc.php" do
 135   source "phppgadmin.conf.erb"
 136   owner "root"
 137   group "root"
 138   mode "644"
 139 end
 140
 141 file "/etc/apache2/conf.d/phppgadmin" do
 142   action :delete
 143 end
 144
 145 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
 146   domains "phppgadmin.dev.openstreetmap.org"
 147   notifies :reload, "service[apache2]"
 148 end
 149
 150 apache_site "phppgadmin.dev.openstreetmap.org" do
 151   template "apache.phppgadmin.erb"
 152 end
 153
 154 search(:accounts, "*:*").each do |account|
 155   name = account["id"]
 156   details = node[:accounts][:users][name] || {}
 157
 158   next unless %w[user administrator].include?(details[:status])
 159
 160   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
 161
 162   next unless File.directory?("#{user_home}/public_html")
 163
 164   php_fpm name do
 165     user name
 166     group name
 167     pm_max_children 10
 168     pm_start_servers 4
 169     pm_min_spare_servers 2
 170     pm_max_spare_servers 6
 171     pm_max_requests 10000
 172     request_terminate_timeout 1800
 173     environment "HOSTNAME" => "$HOSTNAME",
 174                 "PATH" => "/usr/local/bin:/usr/bin:/bin",
 175                 "TMP" => "/tmp",
 176                 "TMPDIR" => "/tmp",
 177                 "TEMP" => "/tmp"
 178     php_values "max_execution_time" => "300",
 179                "memory_limit" => "128M",
 180                "post_max_size" => "32M",
 181                "upload_max_filesize" => "32M"
 182     php_admin_values "sendmail_path" => "/usr/sbin/sendmail -t -i -f #{name}@errol.openstreetmap.org",
 183                      "open_basedir" => "/home/#{name}/:/tmp/:/usr/share/php/"
 184     php_flags "display_errors" => "on"
 185   end
 186
 187   ssl_certificate "#{name}.dev.openstreetmap.org" do
 188     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
 189     notifies :reload, "service[apache2]"
 190   end
 191
 192   apache_site "#{name}.dev.openstreetmap.org" do
 193     template "apache.user.erb"
 194     directory "#{user_home}/public_html"
 195     variables :user => name
 196   end
 197
 198   template "/etc/sudoers.d/#{name}" do
 199     source "sudoers.user.erb"
 200     owner "root"
 201     group "root"
 202     mode "440"
 203     variables :user => name
 204   end
 205 end
 206
 207 if node[:postgresql][:clusters][:"14/main"]
 208   postgresql_user "apis" do
 209     cluster "14/main"
 210   end
 211
 212   template "/usr/local/bin/cleanup-rails-assets" do
 213     cookbook "web"
 214     source "cleanup-assets.erb"
 215     owner "root"
 216     group "root"
 217     mode "755"
 218   end
 219
 220   systemd_service "rails-jobs@" do
 221     description "Rails job queue runner"
 222     type "simple"
 223     user "apis"
 224     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
 225     exec_start "#{node[:ruby][:bundle]} exec rails jobs:work"
 226     restart "on-failure"
 227     private_tmp true
 228     private_devices true
 229     protect_system "full"
 230     protect_home true
 231     no_new_privileges true
 232   end
 233
 234   systemd_service "cgimap@" do
 235     description "OpenStreetMap API Server"
 236     type "forking"
 237     environment_file "/etc/default/cgimap-%i"
 238     user "apis"
 239     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
 240     exec_reload "/bin/kill -HUP $MAINPID"
 241     private_tmp true
 242     private_devices true
 243     protect_system "full"
 244     protect_home true
 245     no_new_privileges true
 246     restart "on-failure"
 247   end
 248
 249   cgimap_port = 9000
 250
 251   Dir.glob("/srv/*.apis.dev.openstreetmap.org").each do |dir|
 252     node.default_unless[:dev][:rails][File.basename(dir).split(".").first] = {}
 253   end
 254
 255   node[:dev][:rails].each do |name, details|
 256     database_name = details[:database] || "apis_#{name}"
 257     site_name = "#{name}.apis.dev.openstreetmap.org"
 258     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
 259     log_directory = "#{site_directory}/logs"
 260     rails_directory = "#{site_directory}/rails"
 261     cgimap_directory = "#{site_directory}/cgimap"
 262     gpx_directory = "#{site_directory}/gpx"
 263
 264     if details[:repository]
 265       site_aliases = details[:aliases] || []
 266       secret_key_base = persistent_token("dev", "rails", name, "secret_key_base")
 267
 268       postgresql_database database_name do
 269         cluster "14/main"
 270         owner "apis"
 271       end
 272
 273       postgresql_extension "#{database_name}_btree_gist" do
 274         cluster "14/main"
 275         database database_name
 276         extension "btree_gist"
 277       end
 278
 279       directory site_directory do
 280         owner "apis"
 281         group "apis"
 282         mode "755"
 283       end
 284
 285       directory log_directory do
 286         owner "apis"
 287         group "apis"
 288         mode "755"
 289       end
 290
 291       directory gpx_directory do
 292         owner "apis"
 293         group "apis"
 294         mode "755"
 295       end
 296
 297       directory "#{gpx_directory}/traces" do
 298         owner "apis"
 299         group "apis"
 300         mode "755"
 301       end
 302
 303       directory "#{gpx_directory}/images" do
 304         owner "apis"
 305         group "apis"
 306         mode "755"
 307       end
 308
 309       rails_port site_name do
 310         directory rails_directory
 311         user "apis"
 312         group "apis"
 313         repository details[:repository]
 314         revision details[:revision]
 315         database_port node[:postgresql][:clusters][:"14/main"][:port]
 316         database_name database_name
 317         database_username "apis"
 318         email_from "OpenStreetMap <web@noreply.openstreetmap.org>"
 319         gpx_dir gpx_directory
 320         log_path "#{log_directory}/rails.log"
 321         memcache_servers ["127.0.0.1"]
 322         csp_enforce true
 323         run_migrations true
 324         trace_use_job_queue true
 325       end
 326
 327       template "#{rails_directory}/config/initializers/setup.rb" do
 328         source "rails.setup.rb.erb"
 329         owner "apis"
 330         group "apis"
 331         mode "644"
 332         variables :site => site_name
 333         notifies :restart, "rails_port[#{site_name}]"
 334       end
 335
 336       service "rails-jobs@#{name}" do
 337         action [:enable, :start]
 338         supports :restart => true
 339         subscribes :restart, "rails_port[#{site_name}]"
 340         subscribes :restart, "systemd_service[#{name}]"
 341         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
 342       end
 343
 344       if details[:cgimap_repository]
 345         git cgimap_directory do
 346           action :sync
 347           repository details[:cgimap_repository]
 348           revision details[:cgimap_revision]
 349           user "apis"
 350           group "apis"
 351         end
 352
 353         execute "#{cgimap_directory}/autogen.sh" do
 354           action :nothing
 355           command "./autogen.sh"
 356           cwd cgimap_directory
 357           user "apis"
 358           group "apis"
 359           subscribes :run, "git[#{cgimap_directory}]", :immediately
 360         end
 361
 362         execute "#{cgimap_directory}/configure" do
 363           action :nothing
 364           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
 365           cwd cgimap_directory
 366           user "apis"
 367           group "apis"
 368           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediately
 369         end
 370
 371         execute "#{cgimap_directory}/Makefile" do
 372           action :nothing
 373           command "make -j"
 374           cwd cgimap_directory
 375           user "apis"
 376           group "apis"
 377           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediately
 378           notifies :restart, "service[cgimap@#{name}]"
 379         end
 380
 381         template "/etc/default/cgimap-#{name}" do
 382           source "cgimap.environment.erb"
 383           owner "root"
 384           group "root"
 385           mode "640"
 386           variables :cgimap_port => cgimap_port,
 387                     :database_port => node[:postgresql][:clusters][:"14/main"][:port],
 388                     :database_name => database_name,
 389                     :log_directory => log_directory
 390           notifies :restart, "service[cgimap@#{name}]"
 391         end
 392
 393         service "cgimap@#{name}" do
 394           action [:start, :enable]
 395         end
 396       end
 397
 398       ssl_certificate site_name do
 399         domains [site_name] + site_aliases
 400         notifies :reload, "service[apache2]"
 401       end
 402
 403       apache_site site_name do
 404         template "apache.rails.erb"
 405         variables :application_name => name,
 406                   :aliases => site_aliases,
 407                   :secret_key_base => secret_key_base,
 408                   :cgimap_enabled => details.key?(:cgimap_repository),
 409                   :cgimap_port => cgimap_port
 410       end
 411
 412       template "/etc/logrotate.d/apis-#{name}" do
 413         source "logrotate.apis.erb"
 414         owner "root"
 415         group "root"
 416         mode "644"
 417         variables :name => name,
 418                   :log_directory => log_directory,
 419                   :rails_directory => rails_directory
 420       end
 421
 422       cgimap_port += 1
 423     else
 424       file "/etc/logrotate.d/apis-#{name}" do
 425         action :delete
 426       end
 427
 428       apache_site site_name do
 429         action [:delete]
 430       end
 431
 432       service "cgimap@#{name}" do
 433         action [:stop, :disable]
 434       end
 435
 436       file "/etc/default/cgimap-#{name}" do
 437         action :delete
 438       end
 439
 440       service "rails-jobs@#{name}" do
 441         action [:stop, :disable]
 442       end
 443
 444       directory site_directory do
 445         action :delete
 446         recursive true
 447       end
 448
 449       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
 450         action :delete
 451       end
 452
 453       postgresql_database database_name do
 454         action :drop
 455         cluster "14/main"
 456       end
 457     end
 458   end
 459
 460   directory "/srv/apis.dev.openstreetmap.org" do
 461     owner "apis"
 462     group "apis"
 463     mode "755"
 464   end
 465
 466   template "/srv/apis.dev.openstreetmap.org/index.html" do
 467     source "apis.html.erb"
 468     owner "apis"
 469     group "apis"
 470     mode "644"
 471   end
 472
 473   ssl_certificate "apis.dev.openstreetmap.org" do
 474     domains "apis.dev.openstreetmap.org"
 475     notifies :reload, "service[apache2]"
 476   end
 477
 478   apache_site "apis.dev.openstreetmap.org" do
 479     template "apache.apis.erb"
 480   end
 481
 482   node[:postgresql][:clusters].each_key do |name|
 483     postgresql_munin name do
 484       cluster name
 485       database "ALL"
 486     end
 487   end
 488 end
 489
 490 directory "/srv/ooc.openstreetmap.org" do
 491   owner "root"
 492   group "root"
 493   mode "755"
 494 end
 495
 496 remote_directory "/srv/ooc.openstreetmap.org/html" do
 497   source "ooc"
 498   owner "root"
 499   group "root"
 500   mode "755"
 501   files_owner "root"
 502   files_group "root"
 503   files_mode "644"
 504 end
 505
 506 ssl_certificate "ooc.openstreetmap.org" do
 507   domains ["ooc.openstreetmap.org",
 508            "a.ooc.openstreetmap.org",
 509            "b.ooc.openstreetmap.org",
 510            "c.ooc.openstreetmap.org"]
 511   notifies :reload, "service[apache2]"
 512 end
 513
 514 apache_site "ooc.openstreetmap.org" do
 515   template "apache.ooc.erb"
 516 end