cookbooks/dev/recipes/default.rb

   1 #
   2 # Cookbook:: dev
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2011, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 require "yaml"
  21 require "securerandom"
  22
  23 include_recipe "apache"
  24 include_recipe "passenger"
  25 include_recipe "geoipupdate"
  26 include_recipe "git"
  27 include_recipe "memcached"
  28 include_recipe "munin"
  29 include_recipe "mysql"
  30 include_recipe "nodejs"
  31 include_recipe "php::fpm"
  32 include_recipe "postgresql"
  33 include_recipe "python"
  34 include_recipe "ruby"
  35
  36 package %w[
  37   ant
  38   default-jdk-headless
  39   default-jre-headless
  40   golang
  41   composer
  42   php-apcu
  43   php-cgi
  44   php-cli
  45   php-curl
  46   php-db
  47   php-gd
  48   php-igbinary
  49   php-imagick
  50   php-intl
  51   php-mbstring
  52   php-memcache
  53   php-mysql
  54   php-pear
  55   php-pgsql
  56   php-sqlite3
  57   php-xml
  58   pngcrush
  59   pngquant
  60   python3
  61   python3-brotli
  62   python3-bs4
  63   python3-cheetah
  64   python3-dateutil
  65   python3-dev
  66   python3-dotenv
  67   python3-lxml
  68   python3-lz4
  69   python3-magic
  70   python3-pil
  71   python3-psycopg2
  72   python3-pyproj
  73   python3-gdal
  74   gdal-bin
  75   g++
  76   gcc
  77   make
  78   autoconf
  79   automake
  80   libtool
  81   libargon2-dev
  82   libfcgi-dev
  83   libxml2-dev
  84   libmemcached-dev
  85   libboost-dev
  86   libboost-regex-dev
  87   libboost-system-dev
  88   libboost-program-options-dev
  89   libboost-date-time-dev
  90   libboost-filesystem-dev
  91   libboost-locale-dev
  92   libpqxx-dev
  93   libcrypto++-dev
  94   libyajl-dev
  95   libfmt-dev
  96   zlib1g-dev
  97   nano
  98   osm2pgsql
  99   osmosis
 100   at
 101   awscli
 102   mailutils
 103   lua-any
 104   luajit
 105   fonts-dejavu
 106   fonts-dejavu-core
 107   fonts-dejavu-extra
 108   fonts-droid-fallback
 109   fonts-liberation
 110   fonts-noto-mono
 111   gnuplot-nox
 112   graphviz
 113   irssi
 114   jq
 115   lz4
 116   lzip
 117   lzop
 118   pbzip2
 119   pigz
 120   unrar
 121   unzip
 122   zip
 123   netcat
 124   tmux
 125   whois
 126   redis
 127   r-base
 128   pandoc
 129 ]
 130
 131 nodejs_package "svgo"
 132
 133 python_package "geojson" do
 134   python_version "3"
 135 end
 136
 137 apache_module "env"
 138 apache_module "expires"
 139 apache_module "headers"
 140 apache_module "proxy"
 141 apache_module "proxy_fcgi"
 142 apache_module "rewrite"
 143 apache_module "suexec"
 144 apache_module "userdir"
 145
 146 apache_module "wsgi" do
 147   package "libapache2-mod-wsgi-py3"
 148 end
 149
 150 package "apache2-suexec-pristine"
 151
 152 php_fpm "default" do
 153   pm_max_children 10
 154   pm_start_servers 4
 155   pm_min_spare_servers 2
 156   pm_max_spare_servers 6
 157 end
 158
 159 php_fpm "www" do
 160   action :delete
 161 end
 162
 163 directory "/srv/dev.openstreetmap.org" do
 164   owner "root"
 165   group "root"
 166   mode "755"
 167 end
 168
 169 template "/srv/dev.openstreetmap.org/index.html" do
 170   source "dev.html.erb"
 171   owner "root"
 172   group "root"
 173   mode "644"
 174 end
 175
 176 ssl_certificate "dev.openstreetmap.org" do
 177   domains "dev.openstreetmap.org"
 178   notifies :reload, "service[apache2]"
 179 end
 180
 181 apache_site "dev.openstreetmap.org" do
 182   template "apache.dev.erb"
 183 end
 184
 185 package "phppgadmin"
 186
 187 template "/etc/phppgadmin/config.inc.php" do
 188   source "phppgadmin.conf.erb"
 189   owner "root"
 190   group "root"
 191   mode "644"
 192 end
 193
 194 file "/etc/apache2/conf.d/phppgadmin" do
 195   action :delete
 196 end
 197
 198 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
 199   domains "phppgadmin.dev.openstreetmap.org"
 200   notifies :reload, "service[apache2]"
 201 end
 202
 203 apache_site "phppgadmin.dev.openstreetmap.org" do
 204   template "apache.phppgadmin.erb"
 205 end
 206
 207 search(:accounts, "*:*").each do |account|
 208   name = account["id"]
 209   details = node[:accounts][:users][name] || {}
 210
 211   next unless %w[user administrator].include?(details[:status])
 212
 213   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
 214
 215   next unless File.directory?("#{user_home}/public_html")
 216
 217   php_fpm name do
 218     user name
 219     group name
 220     pm_max_children 10
 221     pm_start_servers 4
 222     pm_min_spare_servers 2
 223     pm_max_spare_servers 6
 224     pm_max_requests 10000
 225     request_terminate_timeout 1800
 226     environment "HOSTNAME" => "$HOSTNAME",
 227                 "PATH" => "/usr/local/bin:/usr/bin:/bin",
 228                 "TMP" => "/tmp",
 229                 "TMPDIR" => "/tmp",
 230                 "TEMP" => "/tmp"
 231     php_values "max_execution_time" => "300",
 232                "memory_limit" => "128M",
 233                "post_max_size" => "32M",
 234                "upload_max_filesize" => "32M"
 235     php_admin_values "sendmail_path" => "/usr/sbin/sendmail -t -i -f #{name}@errol.openstreetmap.org",
 236                      "open_basedir" => "/home/#{name}/:/tmp/:/usr/share/php/"
 237     php_flags "display_errors" => "on"
 238   end
 239
 240   ssl_certificate "#{name}.dev.openstreetmap.org" do
 241     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
 242     notifies :reload, "service[apache2]"
 243   end
 244
 245   apache_site "#{name}.dev.openstreetmap.org" do
 246     template "apache.user.erb"
 247     directory "#{user_home}/public_html"
 248     variables :user => name
 249   end
 250
 251   template "/etc/sudoers.d/#{name}" do
 252     source "sudoers.user.erb"
 253     owner "root"
 254     group "root"
 255     mode "440"
 256     variables :user => name
 257   end
 258 end
 259
 260 node[:postgresql][:versions].each do |version|
 261   package "postgresql-#{version}-postgis-3"
 262 end
 263
 264 if node[:postgresql][:clusters][:"14/main"]
 265   postgresql_user "apis" do
 266     cluster "14/main"
 267   end
 268
 269   template "/usr/local/bin/cleanup-rails-assets" do
 270     cookbook "web"
 271     source "cleanup-assets.erb"
 272     owner "root"
 273     group "root"
 274     mode "755"
 275   end
 276
 277   systemd_service "rails-jobs@" do
 278     description "Rails job queue runner"
 279     type "simple"
 280     environment "RAILS_ENV" => "production", "SLEEP_DELAY" => "60"
 281     user "apis"
 282     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
 283     exec_start "#{node[:ruby][:bundle]} exec rails jobs:work"
 284     restart "on-failure"
 285     nice 10
 286     private_tmp true
 287     private_devices true
 288     protect_system "full"
 289     protect_home true
 290     no_new_privileges true
 291   end
 292
 293   systemd_service "cgimap@" do
 294     description "OpenStreetMap API Server"
 295     type "forking"
 296     environment_file "/etc/default/cgimap-%i"
 297     user "apis"
 298     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
 299     exec_reload "/bin/kill -HUP $MAINPID"
 300     private_tmp true
 301     private_devices true
 302     protect_system "full"
 303     protect_home true
 304     no_new_privileges true
 305     restart "on-failure"
 306   end
 307
 308   cgimap_port = 9000
 309
 310   Dir.glob("/srv/*.apis.dev.openstreetmap.org").each do |dir|
 311     node.default_unless[:dev][:rails][File.basename(dir).split(".").first] = {}
 312   end
 313
 314   node[:dev][:rails].each do |name, details|
 315     database_name = details[:database] || "apis_#{name}"
 316     site_name = "#{name}.apis.dev.openstreetmap.org"
 317     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
 318     log_directory = "#{site_directory}/logs"
 319     rails_directory = "#{site_directory}/rails"
 320     cgimap_directory = "#{site_directory}/cgimap"
 321     gpx_directory = "#{site_directory}/gpx"
 322
 323     if details[:repository]
 324       site_aliases = details[:aliases] || []
 325       secret_key_base = persistent_token("dev", "rails", name, "secret_key_base")
 326
 327       postgresql_database database_name do
 328         cluster "14/main"
 329         owner "apis"
 330       end
 331
 332       postgresql_extension "#{database_name}_btree_gist" do
 333         cluster "14/main"
 334         database database_name
 335         extension "btree_gist"
 336       end
 337
 338       directory site_directory do
 339         owner "apis"
 340         group "apis"
 341         mode "755"
 342       end
 343
 344       directory log_directory do
 345         owner "apis"
 346         group "apis"
 347         mode "755"
 348       end
 349
 350       directory gpx_directory do
 351         owner "apis"
 352         group "apis"
 353         mode "755"
 354       end
 355
 356       directory "#{gpx_directory}/traces" do
 357         owner "apis"
 358         group "apis"
 359         mode "755"
 360       end
 361
 362       directory "#{gpx_directory}/images" do
 363         owner "apis"
 364         group "apis"
 365         mode "755"
 366       end
 367
 368       rails_port site_name do
 369         directory rails_directory
 370         user "apis"
 371         group "apis"
 372         repository details[:repository]
 373         revision details[:revision]
 374         database_port node[:postgresql][:clusters][:"14/main"][:port]
 375         database_name database_name
 376         database_username "apis"
 377         email_from "OpenStreetMap <web@noreply.openstreetmap.org>"
 378         gpx_dir gpx_directory
 379         log_path "#{log_directory}/rails.log"
 380         memcache_servers ["127.0.0.1"]
 381         csp_enforce true
 382         run_migrations true
 383         trace_use_job_queue true
 384       end
 385
 386       template "#{rails_directory}/config/initializers/setup.rb" do
 387         source "rails.setup.rb.erb"
 388         owner "apis"
 389         group "apis"
 390         mode "644"
 391         variables :site => site_name
 392         notifies :restart, "rails_port[#{site_name}]"
 393       end
 394
 395       service "rails-jobs@#{name}" do
 396         action [:enable, :start]
 397         supports :restart => true
 398         subscribes :restart, "rails_port[#{site_name}]"
 399         subscribes :restart, "systemd_service[#{name}]"
 400         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
 401       end
 402
 403       if details[:cgimap_repository]
 404         git cgimap_directory do
 405           action :sync
 406           repository details[:cgimap_repository]
 407           revision details[:cgimap_revision]
 408           user "apis"
 409           group "apis"
 410         end
 411
 412         execute "#{cgimap_directory}/autogen.sh" do
 413           action :nothing
 414           command "./autogen.sh"
 415           cwd cgimap_directory
 416           user "apis"
 417           group "apis"
 418           subscribes :run, "git[#{cgimap_directory}]", :immediately
 419         end
 420
 421         execute "#{cgimap_directory}/configure" do
 422           action :nothing
 423           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
 424           cwd cgimap_directory
 425           user "apis"
 426           group "apis"
 427           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediately
 428         end
 429
 430         execute "#{cgimap_directory}/Makefile" do
 431           action :nothing
 432           command "make -j"
 433           cwd cgimap_directory
 434           user "apis"
 435           group "apis"
 436           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediately
 437           notifies :restart, "service[cgimap@#{name}]"
 438         end
 439
 440         template "/etc/default/cgimap-#{name}" do
 441           source "cgimap.environment.erb"
 442           owner "root"
 443           group "root"
 444           mode "640"
 445           variables :cgimap_port => cgimap_port,
 446                     :database_port => node[:postgresql][:clusters][:"14/main"][:port],
 447                     :database_name => database_name,
 448                     :log_directory => log_directory
 449           notifies :restart, "service[cgimap@#{name}]"
 450         end
 451
 452         service "cgimap@#{name}" do
 453           action [:start, :enable]
 454         end
 455       end
 456
 457       ssl_certificate site_name do
 458         domains [site_name] + site_aliases
 459         notifies :reload, "service[apache2]"
 460       end
 461
 462       apache_site site_name do
 463         template "apache.rails.erb"
 464         variables :application_name => name,
 465                   :aliases => site_aliases,
 466                   :secret_key_base => secret_key_base,
 467                   :cgimap_enabled => details.key?(:cgimap_repository),
 468                   :cgimap_port => cgimap_port
 469       end
 470
 471       template "/etc/logrotate.d/apis-#{name}" do
 472         source "logrotate.apis.erb"
 473         owner "root"
 474         group "root"
 475         mode "644"
 476         variables :name => name,
 477                   :log_directory => log_directory,
 478                   :rails_directory => rails_directory
 479       end
 480
 481       cgimap_port += 1
 482     else
 483       file "/etc/logrotate.d/apis-#{name}" do
 484         action :delete
 485       end
 486
 487       apache_site site_name do
 488         action [:delete]
 489       end
 490
 491       service "cgimap@#{name}" do
 492         action [:stop, :disable]
 493       end
 494
 495       file "/etc/default/cgimap-#{name}" do
 496         action :delete
 497       end
 498
 499       service "rails-jobs@#{name}" do
 500         action [:stop, :disable]
 501       end
 502
 503       directory site_directory do
 504         action :delete
 505         recursive true
 506       end
 507
 508       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
 509         action :delete
 510       end
 511
 512       postgresql_database database_name do
 513         action :drop
 514         cluster "14/main"
 515       end
 516     end
 517   end
 518
 519   directory "/srv/apis.dev.openstreetmap.org" do
 520     owner "apis"
 521     group "apis"
 522     mode "755"
 523   end
 524
 525   template "/srv/apis.dev.openstreetmap.org/index.html" do
 526     source "apis.html.erb"
 527     owner "apis"
 528     group "apis"
 529     mode "644"
 530   end
 531
 532   ssl_certificate "apis.dev.openstreetmap.org" do
 533     domains "apis.dev.openstreetmap.org"
 534     notifies :reload, "service[apache2]"
 535   end
 536
 537   apache_site "apis.dev.openstreetmap.org" do
 538     template "apache.apis.erb"
 539   end
 540
 541   node[:postgresql][:clusters].each_key do |name|
 542     postgresql_munin name do
 543       cluster name
 544       database "ALL"
 545     end
 546   end
 547 end
 548
 549 directory "/srv/ooc.openstreetmap.org" do
 550   owner "root"
 551   group "root"
 552   mode "755"
 553 end
 554
 555 remote_directory "/srv/ooc.openstreetmap.org/html" do
 556   source "ooc"
 557   owner "root"
 558   group "root"
 559   mode "755"
 560   files_owner "root"
 561   files_group "root"
 562   files_mode "644"
 563 end
 564
 565 ssl_certificate "ooc.openstreetmap.org" do
 566   domains ["ooc.openstreetmap.org",
 567            "a.ooc.openstreetmap.org",
 568            "b.ooc.openstreetmap.org",
 569            "c.ooc.openstreetmap.org"]
 570   notifies :reload, "service[apache2]"
 571 end
 572
 573 apache_site "ooc.openstreetmap.org" do
 574   template "apache.ooc.erb"
 575 end