cookbooks/dev/recipes/default.rb

   1 #
   2 # Cookbook:: dev
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2011, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 require "yaml"
  21 require "securerandom"
  22
  23 include_recipe "apache"
  24 include_recipe "passenger"
  25 include_recipe "geoipupdate"
  26 include_recipe "git"
  27 include_recipe "memcached"
  28 include_recipe "munin"
  29 include_recipe "mysql"
  30 include_recipe "nodejs"
  31 include_recipe "php::fpm"
  32 include_recipe "postgresql"
  33 include_recipe "python"
  34 include_recipe "ruby"
  35
  36 package %w[
  37   composer
  38   php-apcu
  39   php-cgi
  40   php-cli
  41   php-curl
  42   php-db
  43   php-gd
  44   php-igbinary
  45   php-imagick
  46   php-intl
  47   php-mbstring
  48   php-memcache
  49   php-mysql
  50   php-pear
  51   php-pgsql
  52   php-sqlite3
  53   php-xml
  54   pngcrush
  55   pngquant
  56   python3
  57   python3-bs4
  58   python3-cheetah
  59   python3-dateutil
  60   python3-magic
  61   python3-psycopg2
  62   python3-gdal
  63   g++
  64   gcc
  65   make
  66   autoconf
  67   automake
  68   libtool
  69   libargon2-dev
  70   libfcgi-dev
  71   libxml2-dev
  72   libmemcached-dev
  73   libboost-regex-dev
  74   libboost-system-dev
  75   libboost-program-options-dev
  76   libboost-date-time-dev
  77   libboost-filesystem-dev
  78   libboost-locale-dev
  79   libpqxx-dev
  80   libcrypto++-dev
  81   libyajl-dev
  82   libfmt-dev
  83   zlib1g-dev
  84   nano
  85   osm2pgsql
  86 ]
  87
  88 nodejs_package "svgo"
  89
  90 python_package "geojson" do
  91   python_version "3"
  92 end
  93
  94 apache_module "env"
  95 apache_module "expires"
  96 apache_module "headers"
  97 apache_module "proxy"
  98 apache_module "proxy_fcgi"
  99 apache_module "rewrite"
 100 apache_module "suexec"
 101 apache_module "userdir"
 102
 103 apache_module "wsgi" do
 104   package "libapache2-mod-wsgi-py3"
 105 end
 106
 107 package "apache2-suexec-pristine"
 108
 109 php_fpm "default" do
 110   pm_max_children 10
 111   pm_start_servers 4
 112   pm_min_spare_servers 2
 113   pm_max_spare_servers 6
 114 end
 115
 116 php_fpm "www" do
 117   action :delete
 118 end
 119
 120 directory "/srv/dev.openstreetmap.org" do
 121   owner "root"
 122   group "root"
 123   mode "755"
 124 end
 125
 126 template "/srv/dev.openstreetmap.org/index.html" do
 127   source "dev.html.erb"
 128   owner "root"
 129   group "root"
 130   mode "644"
 131 end
 132
 133 ssl_certificate "dev.openstreetmap.org" do
 134   domains "dev.openstreetmap.org"
 135   notifies :reload, "service[apache2]"
 136 end
 137
 138 apache_site "dev.openstreetmap.org" do
 139   template "apache.dev.erb"
 140 end
 141
 142 package "phppgadmin"
 143
 144 template "/etc/phppgadmin/config.inc.php" do
 145   source "phppgadmin.conf.erb"
 146   owner "root"
 147   group "root"
 148   mode "644"
 149 end
 150
 151 file "/etc/apache2/conf.d/phppgadmin" do
 152   action :delete
 153 end
 154
 155 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
 156   domains "phppgadmin.dev.openstreetmap.org"
 157   notifies :reload, "service[apache2]"
 158 end
 159
 160 apache_site "phppgadmin.dev.openstreetmap.org" do
 161   template "apache.phppgadmin.erb"
 162 end
 163
 164 search(:accounts, "*:*").each do |account|
 165   name = account["id"]
 166   details = node[:accounts][:users][name] || {}
 167
 168   next unless %w[user administrator].include?(details[:status])
 169
 170   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
 171
 172   next unless File.directory?("#{user_home}/public_html")
 173
 174   php_fpm name do
 175     user name
 176     group name
 177     pm_max_children 10
 178     pm_start_servers 4
 179     pm_min_spare_servers 2
 180     pm_max_spare_servers 6
 181     pm_max_requests 10000
 182     request_terminate_timeout 1800
 183     environment "HOSTNAME" => "$HOSTNAME",
 184                 "PATH" => "/usr/local/bin:/usr/bin:/bin",
 185                 "TMP" => "/tmp",
 186                 "TMPDIR" => "/tmp",
 187                 "TEMP" => "/tmp"
 188     php_values "max_execution_time" => "300",
 189                "memory_limit" => "128M",
 190                "post_max_size" => "32M",
 191                "upload_max_filesize" => "32M"
 192     php_admin_values "sendmail_path" => "/usr/sbin/sendmail -t -i -f #{name}@errol.openstreetmap.org",
 193                      "open_basedir" => "/home/#{name}/:/tmp/:/usr/share/php/"
 194     php_flags "display_errors" => "on"
 195   end
 196
 197   ssl_certificate "#{name}.dev.openstreetmap.org" do
 198     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
 199     notifies :reload, "service[apache2]"
 200   end
 201
 202   apache_site "#{name}.dev.openstreetmap.org" do
 203     template "apache.user.erb"
 204     directory "#{user_home}/public_html"
 205     variables :user => name
 206   end
 207
 208   template "/etc/sudoers.d/#{name}" do
 209     source "sudoers.user.erb"
 210     owner "root"
 211     group "root"
 212     mode "440"
 213     variables :user => name
 214   end
 215 end
 216
 217 if node[:postgresql][:clusters][:"14/main"]
 218   postgresql_user "apis" do
 219     cluster "14/main"
 220   end
 221
 222   template "/usr/local/bin/cleanup-rails-assets" do
 223     cookbook "web"
 224     source "cleanup-assets.erb"
 225     owner "root"
 226     group "root"
 227     mode "755"
 228   end
 229
 230   systemd_service "rails-jobs@" do
 231     description "Rails job queue runner"
 232     type "simple"
 233     user "apis"
 234     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
 235     exec_start "#{node[:ruby][:bundle]} exec rails jobs:work"
 236     restart "on-failure"
 237     private_tmp true
 238     private_devices true
 239     protect_system "full"
 240     protect_home true
 241     no_new_privileges true
 242   end
 243
 244   systemd_service "cgimap@" do
 245     description "OpenStreetMap API Server"
 246     type "forking"
 247     environment_file "/etc/default/cgimap-%i"
 248     user "apis"
 249     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
 250     exec_reload "/bin/kill -HUP $MAINPID"
 251     private_tmp true
 252     private_devices true
 253     protect_system "full"
 254     protect_home true
 255     no_new_privileges true
 256     restart "on-failure"
 257   end
 258
 259   cgimap_port = 9000
 260
 261   Dir.glob("/srv/*.apis.dev.openstreetmap.org").each do |dir|
 262     node.default_unless[:dev][:rails][File.basename(dir).split(".").first] = {}
 263   end
 264
 265   node[:dev][:rails].each do |name, details|
 266     database_name = details[:database] || "apis_#{name}"
 267     site_name = "#{name}.apis.dev.openstreetmap.org"
 268     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
 269     log_directory = "#{site_directory}/logs"
 270     rails_directory = "#{site_directory}/rails"
 271     cgimap_directory = "#{site_directory}/cgimap"
 272     gpx_directory = "#{site_directory}/gpx"
 273
 274     if details[:repository]
 275       site_aliases = details[:aliases] || []
 276       secret_key_base = persistent_token("dev", "rails", name, "secret_key_base")
 277
 278       postgresql_database database_name do
 279         cluster "14/main"
 280         owner "apis"
 281       end
 282
 283       postgresql_extension "#{database_name}_btree_gist" do
 284         cluster "14/main"
 285         database database_name
 286         extension "btree_gist"
 287       end
 288
 289       directory site_directory do
 290         owner "apis"
 291         group "apis"
 292         mode "755"
 293       end
 294
 295       directory log_directory do
 296         owner "apis"
 297         group "apis"
 298         mode "755"
 299       end
 300
 301       directory gpx_directory do
 302         owner "apis"
 303         group "apis"
 304         mode "755"
 305       end
 306
 307       directory "#{gpx_directory}/traces" do
 308         owner "apis"
 309         group "apis"
 310         mode "755"
 311       end
 312
 313       directory "#{gpx_directory}/images" do
 314         owner "apis"
 315         group "apis"
 316         mode "755"
 317       end
 318
 319       rails_port site_name do
 320         directory rails_directory
 321         user "apis"
 322         group "apis"
 323         repository details[:repository]
 324         revision details[:revision]
 325         database_port node[:postgresql][:clusters][:"14/main"][:port]
 326         database_name database_name
 327         database_username "apis"
 328         email_from "OpenStreetMap <web@noreply.openstreetmap.org>"
 329         gpx_dir gpx_directory
 330         log_path "#{log_directory}/rails.log"
 331         memcache_servers ["127.0.0.1"]
 332         csp_enforce true
 333         run_migrations true
 334         trace_use_job_queue true
 335       end
 336
 337       template "#{rails_directory}/config/initializers/setup.rb" do
 338         source "rails.setup.rb.erb"
 339         owner "apis"
 340         group "apis"
 341         mode "644"
 342         variables :site => site_name
 343         notifies :restart, "rails_port[#{site_name}]"
 344       end
 345
 346       service "rails-jobs@#{name}" do
 347         action [:enable, :start]
 348         supports :restart => true
 349         subscribes :restart, "rails_port[#{site_name}]"
 350         subscribes :restart, "systemd_service[#{name}]"
 351         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
 352       end
 353
 354       if details[:cgimap_repository]
 355         git cgimap_directory do
 356           action :sync
 357           repository details[:cgimap_repository]
 358           revision details[:cgimap_revision]
 359           user "apis"
 360           group "apis"
 361         end
 362
 363         execute "#{cgimap_directory}/autogen.sh" do
 364           action :nothing
 365           command "./autogen.sh"
 366           cwd cgimap_directory
 367           user "apis"
 368           group "apis"
 369           subscribes :run, "git[#{cgimap_directory}]", :immediately
 370         end
 371
 372         execute "#{cgimap_directory}/configure" do
 373           action :nothing
 374           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
 375           cwd cgimap_directory
 376           user "apis"
 377           group "apis"
 378           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediately
 379         end
 380
 381         execute "#{cgimap_directory}/Makefile" do
 382           action :nothing
 383           command "make -j"
 384           cwd cgimap_directory
 385           user "apis"
 386           group "apis"
 387           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediately
 388           notifies :restart, "service[cgimap@#{name}]"
 389         end
 390
 391         template "/etc/default/cgimap-#{name}" do
 392           source "cgimap.environment.erb"
 393           owner "root"
 394           group "root"
 395           mode "640"
 396           variables :cgimap_port => cgimap_port,
 397                     :database_port => node[:postgresql][:clusters][:"14/main"][:port],
 398                     :database_name => database_name,
 399                     :log_directory => log_directory
 400           notifies :restart, "service[cgimap@#{name}]"
 401         end
 402
 403         service "cgimap@#{name}" do
 404           action [:start, :enable]
 405         end
 406       end
 407
 408       ssl_certificate site_name do
 409         domains [site_name] + site_aliases
 410         notifies :reload, "service[apache2]"
 411       end
 412
 413       apache_site site_name do
 414         template "apache.rails.erb"
 415         variables :application_name => name,
 416                   :aliases => site_aliases,
 417                   :secret_key_base => secret_key_base,
 418                   :cgimap_enabled => details.key?(:cgimap_repository),
 419                   :cgimap_port => cgimap_port
 420       end
 421
 422       template "/etc/logrotate.d/apis-#{name}" do
 423         source "logrotate.apis.erb"
 424         owner "root"
 425         group "root"
 426         mode "644"
 427         variables :name => name,
 428                   :log_directory => log_directory,
 429                   :rails_directory => rails_directory
 430       end
 431
 432       cgimap_port += 1
 433     else
 434       file "/etc/logrotate.d/apis-#{name}" do
 435         action :delete
 436       end
 437
 438       apache_site site_name do
 439         action [:delete]
 440       end
 441
 442       service "cgimap@#{name}" do
 443         action [:stop, :disable]
 444       end
 445
 446       file "/etc/default/cgimap-#{name}" do
 447         action :delete
 448       end
 449
 450       service "rails-jobs@#{name}" do
 451         action [:stop, :disable]
 452       end
 453
 454       directory site_directory do
 455         action :delete
 456         recursive true
 457       end
 458
 459       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
 460         action :delete
 461       end
 462
 463       postgresql_database database_name do
 464         action :drop
 465         cluster "14/main"
 466       end
 467     end
 468   end
 469
 470   directory "/srv/apis.dev.openstreetmap.org" do
 471     owner "apis"
 472     group "apis"
 473     mode "755"
 474   end
 475
 476   template "/srv/apis.dev.openstreetmap.org/index.html" do
 477     source "apis.html.erb"
 478     owner "apis"
 479     group "apis"
 480     mode "644"
 481   end
 482
 483   ssl_certificate "apis.dev.openstreetmap.org" do
 484     domains "apis.dev.openstreetmap.org"
 485     notifies :reload, "service[apache2]"
 486   end
 487
 488   apache_site "apis.dev.openstreetmap.org" do
 489     template "apache.apis.erb"
 490   end
 491
 492   node[:postgresql][:clusters].each_key do |name|
 493     postgresql_munin name do
 494       cluster name
 495       database "ALL"
 496     end
 497   end
 498 end
 499
 500 directory "/srv/ooc.openstreetmap.org" do
 501   owner "root"
 502   group "root"
 503   mode "755"
 504 end
 505
 506 remote_directory "/srv/ooc.openstreetmap.org/html" do
 507   source "ooc"
 508   owner "root"
 509   group "root"
 510   mode "755"
 511   files_owner "root"
 512   files_group "root"
 513   files_mode "644"
 514 end
 515
 516 ssl_certificate "ooc.openstreetmap.org" do
 517   domains ["ooc.openstreetmap.org",
 518            "a.ooc.openstreetmap.org",
 519            "b.ooc.openstreetmap.org",
 520            "c.ooc.openstreetmap.org"]
 521   notifies :reload, "service[apache2]"
 522 end
 523
 524 apache_site "ooc.openstreetmap.org" do
 525   template "apache.ooc.erb"
 526 end