cookbooks/dev/recipes/default.rb

   1 #
   2 # Cookbook:: dev
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2011, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 require "yaml"
  21 require "securerandom"
  22
  23 include_recipe "apache"
  24 include_recipe "passenger"
  25 include_recipe "geoipupdate"
  26 include_recipe "git"
  27 include_recipe "memcached"
  28 include_recipe "munin"
  29 include_recipe "mysql"
  30 include_recipe "nodejs"
  31 include_recipe "php::fpm"
  32 include_recipe "postgresql"
  33 include_recipe "python"
  34 include_recipe "ruby"
  35
  36 package %w[
  37   ant
  38   default-jdk-headless
  39   default-jre-headless
  40   golang
  41   composer
  42   php-apcu
  43   php-cgi
  44   php-cli
  45   php-curl
  46   php-db
  47   php-gd
  48   php-igbinary
  49   php-imagick
  50   php-intl
  51   php-mbstring
  52   php-memcache
  53   php-mysql
  54   php-pear
  55   php-pgsql
  56   php-sqlite3
  57   php-xml
  58   pngcrush
  59   pngquant
  60   python-is-python3
  61   python3
  62   python3-brotli
  63   python3-bs4
  64   python3-cheetah
  65   python3-dateutil
  66   python3-dev
  67   python3-dotenv
  68   python3-lxml
  69   python3-lz4
  70   python3-magic
  71   python3-pil
  72   python3-psycopg2
  73   python3-venv
  74   python3-pyproj
  75   python3-gdal
  76   gdal-bin
  77   proj-bin
  78   g++
  79   gcc
  80   make
  81   autoconf
  82   automake
  83   libtool
  84   libargon2-dev
  85   libfcgi-dev
  86   libxml2-dev
  87   libmemcached-dev
  88   libboost-dev
  89   libboost-regex-dev
  90   libboost-system-dev
  91   libboost-program-options-dev
  92   libboost-date-time-dev
  93   libboost-filesystem-dev
  94   libboost-locale-dev
  95   libpqxx-dev
  96   libcrypto++-dev
  97   libyajl-dev
  98   libfmt-dev
  99   zlib1g-dev
 100   nano
 101   osm2pgsql
 102   osmosis
 103   at
 104   awscli
 105   mailutils
 106   lua-any
 107   luajit
 108   fonts-dejavu
 109   fonts-dejavu-core
 110   fonts-dejavu-extra
 111   fonts-droid-fallback
 112   fonts-liberation
 113   fonts-noto-mono
 114   gnuplot-nox
 115   graphviz
 116   irssi
 117   jq
 118   lz4
 119   lzip
 120   lzop
 121   pbzip2
 122   pigz
 123   unrar
 124   unzip
 125   zip
 126   netcat
 127   tmux
 128   whois
 129   redis
 130   r-base
 131   pandoc
 132 ]
 133
 134 # Add uk_os_OSTN15_NTv2_OSGBtoETRS.tif used for reprojecting OS data
 135 execute "uk_os_OSTN15_NTv2_OSGBtoETRS.tif" do
 136   command "projsync --file uk_os_OSTN15_NTv2_OSGBtoETRS.tif --system-directory"
 137   not_if { ::File.exist?("/usr/share/proj/uk_os_OSTN15_NTv2_OSGBtoETRS.tif") }
 138 end
 139
 140 nodejs_package "svgo"
 141
 142 python_package "geojson" do
 143   python_version "3"
 144 end
 145
 146 apache_module "env"
 147 apache_module "expires"
 148 apache_module "headers"
 149 apache_module "proxy"
 150 apache_module "proxy_fcgi"
 151 apache_module "rewrite"
 152 apache_module "suexec"
 153 apache_module "userdir"
 154
 155 apache_module "wsgi" do
 156   package "libapache2-mod-wsgi-py3"
 157 end
 158
 159 package "apache2-suexec-pristine"
 160
 161 php_fpm "default" do
 162   pm_max_children 10
 163   pm_start_servers 4
 164   pm_min_spare_servers 2
 165   pm_max_spare_servers 6
 166 end
 167
 168 php_fpm "www" do
 169   action :delete
 170 end
 171
 172 directory "/srv/dev.openstreetmap.org" do
 173   owner "root"
 174   group "root"
 175   mode "755"
 176 end
 177
 178 template "/srv/dev.openstreetmap.org/index.html" do
 179   source "dev.html.erb"
 180   owner "root"
 181   group "root"
 182   mode "644"
 183 end
 184
 185 ssl_certificate "dev.openstreetmap.org" do
 186   domains "dev.openstreetmap.org"
 187   notifies :reload, "service[apache2]"
 188 end
 189
 190 apache_site "dev.openstreetmap.org" do
 191   template "apache.dev.erb"
 192 end
 193
 194 package "phppgadmin"
 195
 196 template "/etc/phppgadmin/config.inc.php" do
 197   source "phppgadmin.conf.erb"
 198   owner "root"
 199   group "root"
 200   mode "644"
 201 end
 202
 203 file "/etc/apache2/conf.d/phppgadmin" do
 204   action :delete
 205 end
 206
 207 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
 208   domains "phppgadmin.dev.openstreetmap.org"
 209   notifies :reload, "service[apache2]"
 210 end
 211
 212 apache_site "phppgadmin.dev.openstreetmap.org" do
 213   template "apache.phppgadmin.erb"
 214 end
 215
 216 search(:accounts, "*:*").each do |account|
 217   name = account["id"]
 218   details = node[:accounts][:users][name] || {}
 219
 220   next unless %w[user administrator].include?(details[:status])
 221
 222   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
 223
 224   next unless File.directory?("#{user_home}/public_html")
 225
 226   php_fpm name do
 227     user name
 228     group name
 229     pm_max_children 10
 230     pm_start_servers 4
 231     pm_min_spare_servers 2
 232     pm_max_spare_servers 6
 233     pm_max_requests 10000
 234     request_terminate_timeout 1800
 235     environment "HOSTNAME" => "$HOSTNAME",
 236                 "PATH" => "/usr/local/bin:/usr/bin:/bin",
 237                 "TMP" => "/tmp",
 238                 "TMPDIR" => "/tmp",
 239                 "TEMP" => "/tmp"
 240     php_values "max_execution_time" => "300",
 241                "memory_limit" => "128M",
 242                "post_max_size" => "32M",
 243                "upload_max_filesize" => "32M"
 244     php_admin_values "sendmail_path" => "/usr/sbin/sendmail -t -i -f #{name}@dev.openstreetmap.org",
 245                      "open_basedir" => "/home/#{name}/:/tmp/:/usr/share/php/"
 246     php_flags "display_errors" => "on"
 247   end
 248
 249   ssl_certificate "#{name}.dev.openstreetmap.org" do
 250     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
 251     notifies :reload, "service[apache2]"
 252   end
 253
 254   apache_site "#{name}.dev.openstreetmap.org" do
 255     template "apache.user.erb"
 256     directory "#{user_home}/public_html"
 257     variables :user => name
 258   end
 259
 260   template "/etc/sudoers.d/#{name}" do
 261     source "sudoers.user.erb"
 262     owner "root"
 263     group "root"
 264     mode "440"
 265     variables :user => name
 266   end
 267 end
 268
 269 node[:postgresql][:versions].each do |version|
 270   package "postgresql-#{version}-postgis-3"
 271 end
 272
 273 if node[:postgresql][:clusters][:"14/main"]
 274   postgresql_user "apis" do
 275     cluster "14/main"
 276   end
 277
 278   template "/usr/local/bin/cleanup-rails-assets" do
 279     cookbook "web"
 280     source "cleanup-assets.erb"
 281     owner "root"
 282     group "root"
 283     mode "755"
 284   end
 285
 286   systemd_service "rails-jobs@" do
 287     description "Rails job queue runner"
 288     type "simple"
 289     environment "RAILS_ENV" => "production", "SLEEP_DELAY" => "60"
 290     user "apis"
 291     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
 292     exec_start "#{node[:ruby][:bundle]} exec rails jobs:work"
 293     restart "on-failure"
 294     nice 10
 295     sandbox :enable_network => true
 296     restrict_address_families "AF_UNIX"
 297     memory_deny_write_execute false
 298     read_write_paths "/srv/%i.apis.dev.openstreetmap.org/logs"
 299   end
 300
 301   systemd_service "cgimap@" do
 302     description "OpenStreetMap API Server"
 303     type "forking"
 304     environment_file "/etc/default/cgimap-%i"
 305     user "apis"
 306     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
 307     exec_reload "/bin/kill -HUP $MAINPID"
 308     sandbox :enable_network => true
 309     restrict_address_families "AF_UNIX"
 310     read_write_paths ["/srv/%i.apis.dev.openstreetmap.org/logs", "/srv/%i.apis.dev.openstreetmap.org/rails/tmp"]
 311     restart "on-failure"
 312   end
 313
 314   cgimap_port = 9000
 315
 316   Dir.glob("/srv/*.apis.dev.openstreetmap.org").each do |dir|
 317     node.default_unless[:dev][:rails][File.basename(dir).split(".").first] = {}
 318   end
 319
 320   node[:dev][:rails].each do |name, details|
 321     database_name = details[:database] || "apis_#{name}"
 322     site_name = "#{name}.apis.dev.openstreetmap.org"
 323     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
 324     log_directory = "#{site_directory}/logs"
 325     rails_directory = "#{site_directory}/rails"
 326     cgimap_directory = "#{site_directory}/cgimap"
 327     gpx_directory = "#{site_directory}/gpx"
 328
 329     if details[:repository]
 330       site_aliases = details[:aliases] || []
 331       secret_key_base = persistent_token("dev", "rails", name, "secret_key_base")
 332
 333       postgresql_database database_name do
 334         cluster "14/main"
 335         owner "apis"
 336       end
 337
 338       postgresql_extension "#{database_name}_btree_gist" do
 339         cluster "14/main"
 340         database database_name
 341         extension "btree_gist"
 342       end
 343
 344       directory site_directory do
 345         owner "apis"
 346         group "apis"
 347         mode "755"
 348       end
 349
 350       directory log_directory do
 351         owner "apis"
 352         group "apis"
 353         mode "755"
 354       end
 355
 356       directory gpx_directory do
 357         owner "apis"
 358         group "apis"
 359         mode "755"
 360       end
 361
 362       directory "#{gpx_directory}/traces" do
 363         owner "apis"
 364         group "apis"
 365         mode "755"
 366       end
 367
 368       directory "#{gpx_directory}/images" do
 369         owner "apis"
 370         group "apis"
 371         mode "755"
 372       end
 373
 374       rails_port site_name do
 375         directory rails_directory
 376         user "apis"
 377         group "apis"
 378         repository details[:repository]
 379         revision details[:revision]
 380         database_port node[:postgresql][:clusters][:"14/main"][:port]
 381         database_name database_name
 382         database_username "apis"
 383         email_from "OpenStreetMap <web@noreply.openstreetmap.org>"
 384         gpx_dir gpx_directory
 385         log_path "#{log_directory}/rails.log"
 386         memcache_servers ["127.0.0.1"]
 387         csp_enforce true
 388         run_migrations true
 389         trace_use_job_queue true
 390       end
 391
 392       template "#{rails_directory}/config/initializers/setup.rb" do
 393         source "rails.setup.rb.erb"
 394         owner "apis"
 395         group "apis"
 396         mode "644"
 397         variables :site => site_name
 398         notifies :restart, "rails_port[#{site_name}]"
 399       end
 400
 401       service "rails-jobs@#{name}" do
 402         action [:enable, :start]
 403         supports :restart => true
 404         subscribes :restart, "rails_port[#{site_name}]"
 405         subscribes :restart, "systemd_service[rails-jobs@]"
 406         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
 407       end
 408
 409       if details[:cgimap_repository]
 410         git cgimap_directory do
 411           action :sync
 412           repository details[:cgimap_repository]
 413           revision details[:cgimap_revision]
 414           user "apis"
 415           group "apis"
 416         end
 417
 418         execute "#{cgimap_directory}/autogen.sh" do
 419           action :nothing
 420           command "./autogen.sh"
 421           cwd cgimap_directory
 422           user "apis"
 423           group "apis"
 424           subscribes :run, "git[#{cgimap_directory}]", :immediately
 425         end
 426
 427         execute "#{cgimap_directory}/configure" do
 428           action :nothing
 429           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
 430           cwd cgimap_directory
 431           user "apis"
 432           group "apis"
 433           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediately
 434         end
 435
 436         execute "#{cgimap_directory}/Makefile" do
 437           action :nothing
 438           command "make -j"
 439           cwd cgimap_directory
 440           user "apis"
 441           group "apis"
 442           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediately
 443         end
 444
 445         template "/etc/default/cgimap-#{name}" do
 446           source "cgimap.environment.erb"
 447           owner "root"
 448           group "root"
 449           mode "640"
 450           variables :cgimap_port => cgimap_port,
 451                     :database_port => node[:postgresql][:clusters][:"14/main"][:port],
 452                     :database_name => database_name,
 453                     :log_directory => log_directory
 454         end
 455
 456         service "cgimap@#{name}" do
 457           action [:start, :enable]
 458           subscribes :restart, "execute[#{cgimap_directory}/Makefile]"
 459           subscribes :restart, "template[/etc/default/cgimap-#{name}]"
 460           subscribes :restart, "systemd_service[cgimap@]"
 461         end
 462       end
 463
 464       ssl_certificate site_name do
 465         domains [site_name] + site_aliases
 466         notifies :reload, "service[apache2]"
 467       end
 468
 469       apache_site site_name do
 470         template "apache.rails.erb"
 471         variables :application_name => name,
 472                   :aliases => site_aliases,
 473                   :secret_key_base => secret_key_base,
 474                   :cgimap_enabled => details.key?(:cgimap_repository),
 475                   :cgimap_port => cgimap_port
 476       end
 477
 478       template "/etc/logrotate.d/apis-#{name}" do
 479         source "logrotate.apis.erb"
 480         owner "root"
 481         group "root"
 482         mode "644"
 483         variables :name => name,
 484                   :log_directory => log_directory,
 485                   :rails_directory => rails_directory
 486       end
 487
 488       cgimap_port += 1
 489     else
 490       file "/etc/logrotate.d/apis-#{name}" do
 491         action :delete
 492       end
 493
 494       apache_site site_name do
 495         action [:delete]
 496       end
 497
 498       service "cgimap@#{name}" do
 499         action [:stop, :disable]
 500       end
 501
 502       file "/etc/default/cgimap-#{name}" do
 503         action :delete
 504       end
 505
 506       service "rails-jobs@#{name}" do
 507         action [:stop, :disable]
 508       end
 509
 510       directory site_directory do
 511         action :delete
 512         recursive true
 513       end
 514
 515       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
 516         action :delete
 517       end
 518
 519       postgresql_database database_name do
 520         action :drop
 521         cluster "14/main"
 522       end
 523     end
 524   end
 525
 526   directory "/srv/apis.dev.openstreetmap.org" do
 527     owner "apis"
 528     group "apis"
 529     mode "755"
 530   end
 531
 532   template "/srv/apis.dev.openstreetmap.org/index.html" do
 533     source "apis.html.erb"
 534     owner "apis"
 535     group "apis"
 536     mode "644"
 537   end
 538
 539   ssl_certificate "apis.dev.openstreetmap.org" do
 540     domains "apis.dev.openstreetmap.org"
 541     notifies :reload, "service[apache2]"
 542   end
 543
 544   apache_site "apis.dev.openstreetmap.org" do
 545     template "apache.apis.erb"
 546   end
 547
 548   node[:postgresql][:clusters].each_key do |name|
 549     postgresql_munin name do
 550       cluster name
 551       database "ALL"
 552     end
 553   end
 554 end
 555
 556 directory "/srv/ooc.openstreetmap.org" do
 557   owner "root"
 558   group "root"
 559   mode "755"
 560 end
 561
 562 remote_directory "/srv/ooc.openstreetmap.org/html" do
 563   source "ooc"
 564   owner "root"
 565   group "root"
 566   mode "755"
 567   files_owner "root"
 568   files_group "root"
 569   files_mode "644"
 570 end
 571
 572 ssl_certificate "ooc.openstreetmap.org" do
 573   domains ["ooc.openstreetmap.org",
 574            "a.ooc.openstreetmap.org",
 575            "b.ooc.openstreetmap.org",
 576            "c.ooc.openstreetmap.org"]
 577   notifies :reload, "service[apache2]"
 578 end
 579
 580 apache_site "ooc.openstreetmap.org" do
 581   template "apache.ooc.erb"
 582 end