cookbooks/dev/recipes/default.rb

   1 #
   2 # Cookbook:: dev
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2011, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 require "yaml"
  21 require "securerandom"
  22
  23 include_recipe "apache"
  24 include_recipe "passenger"
  25 include_recipe "geoipupdate"
  26 include_recipe "git"
  27 include_recipe "memcached"
  28 include_recipe "munin"
  29 include_recipe "mysql"
  30 include_recipe "nodejs"
  31 include_recipe "php::fpm"
  32 include_recipe "postgresql"
  33 include_recipe "python"
  34 include_recipe "ruby"
  35
  36 package %w[
  37   composer
  38   php-apcu
  39   php-cgi
  40   php-cli
  41   php-curl
  42   php-db
  43   php-gd
  44   php-igbinary
  45   php-imagick
  46   php-intl
  47   php-mbstring
  48   php-memcache
  49   php-mysql
  50   php-pear
  51   php-pgsql
  52   php-sqlite3
  53   php-xml
  54   pngcrush
  55   pngquant
  56   python3
  57   python3-bs4
  58   python3-cheetah
  59   python3-dateutil
  60   python3-magic
  61   python3-psycopg2
  62   python3-gdal
  63   g++
  64   gcc
  65   make
  66   autoconf
  67   automake
  68   libtool
  69   libargon2-dev
  70   libfcgi-dev
  71   libxml2-dev
  72   libmemcached-dev
  73   libboost-regex-dev
  74   libboost-system-dev
  75   libboost-program-options-dev
  76   libboost-date-time-dev
  77   libboost-filesystem-dev
  78   libboost-locale-dev
  79   libpqxx-dev
  80   libcrypto++-dev
  81   libyajl-dev
  82   libfmt-dev
  83   zlib1g-dev
  84   nano
  85   osm2pgsql
  86 ]
  87
  88 nodejs_package "svgo"
  89
  90 python_package "geojson" do
  91   python_version "3"
  92 end
  93
  94 apache_module "env"
  95 apache_module "expires"
  96 apache_module "headers"
  97 apache_module "proxy"
  98 apache_module "proxy_fcgi"
  99 apache_module "rewrite"
 100 apache_module "suexec"
 101 apache_module "userdir"
 102
 103 apache_module "wsgi" do
 104   package "libapache2-mod-wsgi-py3"
 105 end
 106
 107 package "apache2-suexec-pristine"
 108
 109 php_fpm "default" do
 110   pm_max_children 10
 111   pm_start_servers 4
 112   pm_min_spare_servers 2
 113   pm_max_spare_servers 6
 114 end
 115
 116 php_fpm "www" do
 117   action :delete
 118 end
 119
 120 directory "/srv/dev.openstreetmap.org" do
 121   owner "root"
 122   group "root"
 123   mode "755"
 124 end
 125
 126 template "/srv/dev.openstreetmap.org/index.html" do
 127   source "dev.html.erb"
 128   owner "root"
 129   group "root"
 130   mode "644"
 131 end
 132
 133 ssl_certificate "dev.openstreetmap.org" do
 134   domains "dev.openstreetmap.org"
 135   notifies :reload, "service[apache2]"
 136 end
 137
 138 apache_site "dev.openstreetmap.org" do
 139   template "apache.dev.erb"
 140 end
 141
 142 package "phppgadmin"
 143
 144 template "/etc/phppgadmin/config.inc.php" do
 145   source "phppgadmin.conf.erb"
 146   owner "root"
 147   group "root"
 148   mode "644"
 149 end
 150
 151 file "/etc/apache2/conf.d/phppgadmin" do
 152   action :delete
 153 end
 154
 155 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
 156   domains "phppgadmin.dev.openstreetmap.org"
 157   notifies :reload, "service[apache2]"
 158 end
 159
 160 apache_site "phppgadmin.dev.openstreetmap.org" do
 161   template "apache.phppgadmin.erb"
 162 end
 163
 164 search(:accounts, "*:*").each do |account|
 165   name = account["id"]
 166   details = node[:accounts][:users][name] || {}
 167
 168   next unless %w[user administrator].include?(details[:status])
 169
 170   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
 171
 172   next unless File.directory?("#{user_home}/public_html")
 173
 174   php_fpm name do
 175     user name
 176     group name
 177     pm_max_children 10
 178     pm_start_servers 4
 179     pm_min_spare_servers 2
 180     pm_max_spare_servers 6
 181     pm_max_requests 10000
 182     request_terminate_timeout 1800
 183     environment "HOSTNAME" => "$HOSTNAME",
 184                 "PATH" => "/usr/local/bin:/usr/bin:/bin",
 185                 "TMP" => "/tmp",
 186                 "TMPDIR" => "/tmp",
 187                 "TEMP" => "/tmp"
 188     php_values "max_execution_time" => "300",
 189                "memory_limit" => "128M",
 190                "post_max_size" => "32M",
 191                "upload_max_filesize" => "32M"
 192     php_admin_values "sendmail_path" => "/usr/sbin/sendmail -t -i -f #{name}@errol.openstreetmap.org",
 193                      "open_basedir" => "/home/#{name}/:/tmp/:/usr/share/php/"
 194     php_flags "display_errors" => "on"
 195   end
 196
 197   ssl_certificate "#{name}.dev.openstreetmap.org" do
 198     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
 199     notifies :reload, "service[apache2]"
 200   end
 201
 202   apache_site "#{name}.dev.openstreetmap.org" do
 203     template "apache.user.erb"
 204     directory "#{user_home}/public_html"
 205     variables :user => name
 206   end
 207
 208   template "/etc/sudoers.d/#{name}" do
 209     source "sudoers.user.erb"
 210     owner "root"
 211     group "root"
 212     mode "440"
 213     variables :user => name
 214   end
 215 end
 216
 217 if node[:postgresql][:clusters][:"14/main"]
 218   postgresql_user "apis" do
 219     cluster "14/main"
 220   end
 221
 222   template "/usr/local/bin/cleanup-rails-assets" do
 223     cookbook "web"
 224     source "cleanup-assets.erb"
 225     owner "root"
 226     group "root"
 227     mode "755"
 228   end
 229
 230   systemd_service "rails-jobs@" do
 231     description "Rails job queue runner"
 232     type "simple"
 233     user "apis"
 234     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
 235     exec_start "#{node[:ruby][:bundle]} exec rails jobs:work"
 236     restart "on-failure"
 237     nice 10
 238     private_tmp true
 239     private_devices true
 240     protect_system "full"
 241     protect_home true
 242     no_new_privileges true
 243   end
 244
 245   systemd_service "cgimap@" do
 246     description "OpenStreetMap API Server"
 247     type "forking"
 248     environment_file "/etc/default/cgimap-%i"
 249     user "apis"
 250     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
 251     exec_reload "/bin/kill -HUP $MAINPID"
 252     private_tmp true
 253     private_devices true
 254     protect_system "full"
 255     protect_home true
 256     no_new_privileges true
 257     restart "on-failure"
 258   end
 259
 260   cgimap_port = 9000
 261
 262   Dir.glob("/srv/*.apis.dev.openstreetmap.org").each do |dir|
 263     node.default_unless[:dev][:rails][File.basename(dir).split(".").first] = {}
 264   end
 265
 266   node[:dev][:rails].each do |name, details|
 267     database_name = details[:database] || "apis_#{name}"
 268     site_name = "#{name}.apis.dev.openstreetmap.org"
 269     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
 270     log_directory = "#{site_directory}/logs"
 271     rails_directory = "#{site_directory}/rails"
 272     cgimap_directory = "#{site_directory}/cgimap"
 273     gpx_directory = "#{site_directory}/gpx"
 274
 275     if details[:repository]
 276       site_aliases = details[:aliases] || []
 277       secret_key_base = persistent_token("dev", "rails", name, "secret_key_base")
 278
 279       postgresql_database database_name do
 280         cluster "14/main"
 281         owner "apis"
 282       end
 283
 284       postgresql_extension "#{database_name}_btree_gist" do
 285         cluster "14/main"
 286         database database_name
 287         extension "btree_gist"
 288       end
 289
 290       directory site_directory do
 291         owner "apis"
 292         group "apis"
 293         mode "755"
 294       end
 295
 296       directory log_directory do
 297         owner "apis"
 298         group "apis"
 299         mode "755"
 300       end
 301
 302       directory gpx_directory do
 303         owner "apis"
 304         group "apis"
 305         mode "755"
 306       end
 307
 308       directory "#{gpx_directory}/traces" do
 309         owner "apis"
 310         group "apis"
 311         mode "755"
 312       end
 313
 314       directory "#{gpx_directory}/images" do
 315         owner "apis"
 316         group "apis"
 317         mode "755"
 318       end
 319
 320       rails_port site_name do
 321         directory rails_directory
 322         user "apis"
 323         group "apis"
 324         repository details[:repository]
 325         revision details[:revision]
 326         database_port node[:postgresql][:clusters][:"14/main"][:port]
 327         database_name database_name
 328         database_username "apis"
 329         email_from "OpenStreetMap <web@noreply.openstreetmap.org>"
 330         gpx_dir gpx_directory
 331         log_path "#{log_directory}/rails.log"
 332         memcache_servers ["127.0.0.1"]
 333         csp_enforce true
 334         run_migrations true
 335         trace_use_job_queue true
 336       end
 337
 338       template "#{rails_directory}/config/initializers/setup.rb" do
 339         source "rails.setup.rb.erb"
 340         owner "apis"
 341         group "apis"
 342         mode "644"
 343         variables :site => site_name
 344         notifies :restart, "rails_port[#{site_name}]"
 345       end
 346
 347       service "rails-jobs@#{name}" do
 348         action [:enable, :start]
 349         supports :restart => true
 350         subscribes :restart, "rails_port[#{site_name}]"
 351         subscribes :restart, "systemd_service[#{name}]"
 352         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
 353       end
 354
 355       if details[:cgimap_repository]
 356         git cgimap_directory do
 357           action :sync
 358           repository details[:cgimap_repository]
 359           revision details[:cgimap_revision]
 360           user "apis"
 361           group "apis"
 362         end
 363
 364         execute "#{cgimap_directory}/autogen.sh" do
 365           action :nothing
 366           command "./autogen.sh"
 367           cwd cgimap_directory
 368           user "apis"
 369           group "apis"
 370           subscribes :run, "git[#{cgimap_directory}]", :immediately
 371         end
 372
 373         execute "#{cgimap_directory}/configure" do
 374           action :nothing
 375           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
 376           cwd cgimap_directory
 377           user "apis"
 378           group "apis"
 379           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediately
 380         end
 381
 382         execute "#{cgimap_directory}/Makefile" do
 383           action :nothing
 384           command "make -j"
 385           cwd cgimap_directory
 386           user "apis"
 387           group "apis"
 388           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediately
 389           notifies :restart, "service[cgimap@#{name}]"
 390         end
 391
 392         template "/etc/default/cgimap-#{name}" do
 393           source "cgimap.environment.erb"
 394           owner "root"
 395           group "root"
 396           mode "640"
 397           variables :cgimap_port => cgimap_port,
 398                     :database_port => node[:postgresql][:clusters][:"14/main"][:port],
 399                     :database_name => database_name,
 400                     :log_directory => log_directory
 401           notifies :restart, "service[cgimap@#{name}]"
 402         end
 403
 404         service "cgimap@#{name}" do
 405           action [:start, :enable]
 406         end
 407       end
 408
 409       ssl_certificate site_name do
 410         domains [site_name] + site_aliases
 411         notifies :reload, "service[apache2]"
 412       end
 413
 414       apache_site site_name do
 415         template "apache.rails.erb"
 416         variables :application_name => name,
 417                   :aliases => site_aliases,
 418                   :secret_key_base => secret_key_base,
 419                   :cgimap_enabled => details.key?(:cgimap_repository),
 420                   :cgimap_port => cgimap_port
 421       end
 422
 423       template "/etc/logrotate.d/apis-#{name}" do
 424         source "logrotate.apis.erb"
 425         owner "root"
 426         group "root"
 427         mode "644"
 428         variables :name => name,
 429                   :log_directory => log_directory,
 430                   :rails_directory => rails_directory
 431       end
 432
 433       cgimap_port += 1
 434     else
 435       file "/etc/logrotate.d/apis-#{name}" do
 436         action :delete
 437       end
 438
 439       apache_site site_name do
 440         action [:delete]
 441       end
 442
 443       service "cgimap@#{name}" do
 444         action [:stop, :disable]
 445       end
 446
 447       file "/etc/default/cgimap-#{name}" do
 448         action :delete
 449       end
 450
 451       service "rails-jobs@#{name}" do
 452         action [:stop, :disable]
 453       end
 454
 455       directory site_directory do
 456         action :delete
 457         recursive true
 458       end
 459
 460       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
 461         action :delete
 462       end
 463
 464       postgresql_database database_name do
 465         action :drop
 466         cluster "14/main"
 467       end
 468     end
 469   end
 470
 471   directory "/srv/apis.dev.openstreetmap.org" do
 472     owner "apis"
 473     group "apis"
 474     mode "755"
 475   end
 476
 477   template "/srv/apis.dev.openstreetmap.org/index.html" do
 478     source "apis.html.erb"
 479     owner "apis"
 480     group "apis"
 481     mode "644"
 482   end
 483
 484   ssl_certificate "apis.dev.openstreetmap.org" do
 485     domains "apis.dev.openstreetmap.org"
 486     notifies :reload, "service[apache2]"
 487   end
 488
 489   apache_site "apis.dev.openstreetmap.org" do
 490     template "apache.apis.erb"
 491   end
 492
 493   node[:postgresql][:clusters].each_key do |name|
 494     postgresql_munin name do
 495       cluster name
 496       database "ALL"
 497     end
 498   end
 499 end
 500
 501 directory "/srv/ooc.openstreetmap.org" do
 502   owner "root"
 503   group "root"
 504   mode "755"
 505 end
 506
 507 remote_directory "/srv/ooc.openstreetmap.org/html" do
 508   source "ooc"
 509   owner "root"
 510   group "root"
 511   mode "755"
 512   files_owner "root"
 513   files_group "root"
 514   files_mode "644"
 515 end
 516
 517 ssl_certificate "ooc.openstreetmap.org" do
 518   domains ["ooc.openstreetmap.org",
 519            "a.ooc.openstreetmap.org",
 520            "b.ooc.openstreetmap.org",
 521            "c.ooc.openstreetmap.org"]
 522   notifies :reload, "service[apache2]"
 523 end
 524
 525 apache_site "ooc.openstreetmap.org" do
 526   template "apache.ooc.erb"
 527 end