cookbooks/tile/recipes/default.rb

   1 #
   2 # Cookbook:: tile
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2013, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "apache"
  22 include_recipe "git"
  23 include_recipe "munin"
  24 include_recipe "nodejs"
  25 include_recipe "postgresql"
  26 include_recipe "python"
  27 include_recipe "tools"
  28
  29 blocks = data_bag_item("tile", "blocks")
  30 web_passwords = data_bag_item("web", "passwords")
  31
  32 apache_module "alias"
  33 apache_module "cgi"
  34 apache_module "expires"
  35 apache_module "headers"
  36 apache_module "remoteip"
  37 apache_module "rewrite"
  38
  39 apache_module "tile" do
  40   conf "tile.conf.erb"
  41 end
  42
  43 ssl_certificate node[:fqdn] do
  44   domains [node[:fqdn], "tile.openstreetmap.org", "render.openstreetmap.org"]
  45   notifies :reload, "service[apache2]"
  46 end
  47
  48 tilecaches = search(:node, "roles:tilecache").sort_by { |n| n[:hostname] }
  49
  50 apache_site "default" do
  51   action [:disable]
  52 end
  53
  54 apache_site "tile.openstreetmap.org" do
  55   template "apache.erb"
  56   variables :caches => tilecaches
  57 end
  58
  59 template "/etc/logrotate.d/apache2" do
  60   source "logrotate.apache.erb"
  61   owner "root"
  62   group "root"
  63   mode 0o644
  64 end
  65
  66 directory "/srv/tile.openstreetmap.org" do
  67   owner "tile"
  68   group "tile"
  69   mode 0o755
  70 end
  71
  72 package "renderd"
  73
  74 systemd_service "renderd" do
  75   description "Mapnik rendering daemon"
  76   after "postgresql.service"
  77   wants "postgresql.service"
  78   user "www-data"
  79   exec_start "/usr/bin/renderd -f"
  80   runtime_directory "renderd"
  81   standard_error "null"
  82   private_tmp true
  83   private_devices true
  84   private_network true
  85   protect_system "full"
  86   protect_home true
  87   no_new_privileges true
  88   restart "on-failure"
  89 end
  90
  91 service "renderd" do
  92   action [:enable, :start]
  93   subscribes :restart, "systemd_service[renderd]"
  94 end
  95
  96 directory "/srv/tile.openstreetmap.org/tiles" do
  97   owner "tile"
  98   group "tile"
  99   mode 0o755
 100 end
 101
 102 template "/etc/renderd.conf" do
 103   source "renderd.conf.erb"
 104   owner "root"
 105   group "root"
 106   mode 0o644
 107   notifies :reload, "service[apache2]"
 108   notifies :restart, "service[renderd]"
 109 end
 110
 111 remote_directory "/srv/tile.openstreetmap.org/html" do
 112   source "html"
 113   owner "tile"
 114   group "tile"
 115   mode 0o755
 116   files_owner "tile"
 117   files_group "tile"
 118   files_mode 0o644
 119 end
 120
 121 template "/srv/tile.openstreetmap.org/html/index.html" do
 122   source "index.html.erb"
 123   owner "tile"
 124   group "tile"
 125   mode 0o644
 126 end
 127
 128 package %w[
 129   python3-cairo
 130   python3-mapnik
 131   python3-setuptools
 132 ]
 133
 134 python_package "pyotp" do
 135   python_version "3"
 136 end
 137
 138 package %w[
 139   fonts-noto-cjk
 140   fonts-noto-hinted
 141   fonts-noto-unhinted
 142   fonts-hanazono
 143   ttf-unifont
 144 ]
 145
 146 ["NotoSansArabicUI-Regular.ttf", "NotoSansArabicUI-Bold.ttf"].each do |font|
 147   remote_file "/usr/share/fonts/truetype/noto/#{font}" do
 148     action :create_if_missing
 149     source "https://github.com/googlei18n/noto-fonts/raw/master/hinted/#{font}"
 150     owner "root"
 151     group "root"
 152     mode 0o644
 153   end
 154 end
 155
 156 directory "/srv/tile.openstreetmap.org/cgi-bin" do
 157   owner "tile"
 158   group "tile"
 159   mode 0o755
 160 end
 161
 162 template "/srv/tile.openstreetmap.org/cgi-bin/export" do
 163   source "export.erb"
 164   owner "tile"
 165   group "tile"
 166   mode 0o755
 167   variables :blocks => blocks, :totp_key => web_passwords["totp_key"]
 168 end
 169
 170 template "/srv/tile.openstreetmap.org/cgi-bin/debug" do
 171   source "debug.erb"
 172   owner "tile"
 173   group "tile"
 174   mode 0o755
 175 end
 176
 177 template "/etc/cron.hourly/export" do
 178   source "export.cron.erb"
 179   owner "root"
 180   group "root"
 181   mode 0o755
 182 end
 183
 184 directory "/srv/tile.openstreetmap.org/data" do
 185   owner "tile"
 186   group "tile"
 187   mode 0o755
 188 end
 189
 190 package "mapnik-utils"
 191
 192 node[:tile][:data].each_value do |data|
 193   url = data[:url]
 194   file = "/srv/tile.openstreetmap.org/data/#{File.basename(url)}"
 195
 196   if data[:directory]
 197     directory = "/srv/tile.openstreetmap.org/data/#{data[:directory]}"
 198
 199     directory directory do
 200       owner "tile"
 201       group "tile"
 202       mode 0o755
 203     end
 204   else
 205     directory = "/srv/tile.openstreetmap.org/data"
 206   end
 207
 208   if file =~ /\.tgz$/
 209     package "tar"
 210
 211     execute file do
 212       action :nothing
 213       command "tar -zxf #{file} -C #{directory}"
 214       user "tile"
 215       group "tile"
 216     end
 217   elsif file =~ /\.tar\.bz2$/
 218     package "tar"
 219
 220     execute file do
 221       action :nothing
 222       command "tar -jxf #{file} -C #{directory}"
 223       user "tile"
 224       group "tile"
 225     end
 226   elsif file =~ /\.zip$/
 227     package "unzip"
 228
 229     execute file do
 230       action :nothing
 231       command "unzip -qq -o #{file} -d #{directory}"
 232       user "tile"
 233       group "tile"
 234     end
 235   end
 236
 237   execute "#{file}_shapeindex" do
 238     action :nothing
 239     command "find #{directory} -type f -iname '*.shp' -print0 | xargs -0 --no-run-if-empty shapeindex --shape_files"
 240     user "tile"
 241     group "tile"
 242     subscribes :run, "execute[#{file}]", :immediately
 243   end
 244
 245   remote_file file do
 246     if data[:refresh]
 247       action :create
 248       use_conditional_get true
 249       ignore_failure true
 250     else
 251       action :create_if_missing
 252     end
 253
 254     source url
 255     owner "tile"
 256     group "tile"
 257     mode 0o644
 258     backup false
 259     notifies :run, "execute[#{file}]", :immediately
 260     notifies :restart, "service[renderd]"
 261   end
 262 end
 263
 264 nodejs_package "carto"
 265
 266 systemd_service "update-lowzoom@" do
 267   description "Low zoom tile update service for %i layer"
 268   user "tile"
 269   exec_start "/bin/bash /usr/local/bin/update-lowzoom-%i"
 270   private_tmp true
 271   private_devices true
 272   private_network true
 273   protect_system "full"
 274   protect_home true
 275   no_new_privileges true
 276   restart "on-failure"
 277 end
 278
 279 directory "/srv/tile.openstreetmap.org/styles" do
 280   owner "tile"
 281   group "tile"
 282   mode 0o755
 283 end
 284
 285 node[:tile][:styles].each do |name, details|
 286   style_directory = "/srv/tile.openstreetmap.org/styles/#{name}"
 287   tile_directory = "/srv/tile.openstreetmap.org/tiles/#{name}"
 288
 289   template "/usr/local/bin/update-lowzoom-#{name}" do
 290     source "update-lowzoom.erb"
 291     owner "root"
 292     group "root"
 293     mode 0o755
 294     variables :style => name
 295   end
 296
 297   service "update-lowzoom@#{name}" do
 298     action :disable
 299     supports :restart => true
 300   end
 301
 302   directory tile_directory do
 303     owner "tile"
 304     group "tile"
 305     mode 0o755
 306   end
 307
 308   details[:tile_directories].each do |directory|
 309     directory directory[:name] do
 310       owner "www-data"
 311       group "www-data"
 312       mode 0o755
 313     end
 314
 315     directory[:min_zoom].upto(directory[:max_zoom]) do |zoom|
 316       directory "#{directory[:name]}/#{zoom}" do
 317         owner "www-data"
 318         group "www-data"
 319         mode 0o755
 320       end
 321
 322       link "#{tile_directory}/#{zoom}" do
 323         to "#{directory[:name]}/#{zoom}"
 324         owner "tile"
 325         group "tile"
 326       end
 327     end
 328   end
 329
 330   file "#{tile_directory}/planet-import-complete" do
 331     action :create_if_missing
 332     owner "tile"
 333     group "tile"
 334     mode 0o444
 335   end
 336
 337   git style_directory do
 338     action :sync
 339     repository details[:repository]
 340     revision details[:revision]
 341     user "tile"
 342     group "tile"
 343   end
 344
 345   link "#{style_directory}/data" do
 346     to "/srv/tile.openstreetmap.org/data"
 347     owner "tile"
 348     group "tile"
 349   end
 350
 351   execute "#{style_directory}/project.mml" do
 352     action :nothing
 353     command "carto -a 3.0.0 project.mml > project.xml"
 354     cwd style_directory
 355     user "tile"
 356     group "tile"
 357     subscribes :run, "git[#{style_directory}]"
 358     notifies :restart, "service[renderd]", :immediately
 359     notifies :restart, "service[update-lowzoom@#{name}]"
 360   end
 361 end
 362
 363 postgresql_version = node[:tile][:database][:cluster].split("/").first
 364 postgis_version = node[:tile][:database][:postgis]
 365
 366 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
 367
 368 postgresql_user "jburgess" do
 369   cluster node[:tile][:database][:cluster]
 370   superuser true
 371 end
 372
 373 postgresql_user "tomh" do
 374   cluster node[:tile][:database][:cluster]
 375   superuser true
 376 end
 377
 378 postgresql_user "tile" do
 379   cluster node[:tile][:database][:cluster]
 380 end
 381
 382 postgresql_user "www-data" do
 383   cluster node[:tile][:database][:cluster]
 384 end
 385
 386 postgresql_database "gis" do
 387   cluster node[:tile][:database][:cluster]
 388   owner "tile"
 389 end
 390
 391 postgresql_extension "postgis" do
 392   cluster node[:tile][:database][:cluster]
 393   database "gis"
 394 end
 395
 396 postgresql_extension "hstore" do
 397   cluster node[:tile][:database][:cluster]
 398   database "gis"
 399   only_if { node[:tile][:database][:hstore] }
 400 end
 401
 402 %w[geography_columns planet_osm_nodes planet_osm_rels planet_osm_ways raster_columns raster_overviews spatial_ref_sys].each do |table|
 403   postgresql_table table do
 404     cluster node[:tile][:database][:cluster]
 405     database "gis"
 406     owner "tile"
 407     permissions "tile" => :all
 408   end
 409 end
 410
 411 %w[geometry_columns planet_osm_line planet_osm_point planet_osm_polygon planet_osm_roads].each do |table|
 412   postgresql_table table do
 413     cluster node[:tile][:database][:cluster]
 414     database "gis"
 415     owner "tile"
 416     permissions "tile" => :all, "www-data" => :select
 417   end
 418 end
 419
 420 postgresql_munin "gis" do
 421   cluster node[:tile][:database][:cluster]
 422   database "gis"
 423 end
 424
 425 directory File.dirname(node[:tile][:database][:node_file]) do
 426   owner "root"
 427   group "root"
 428   mode 0o755
 429   recursive true
 430 end
 431
 432 file node[:tile][:database][:node_file] do
 433   owner "tile"
 434   group "www-data"
 435   mode 0o660
 436 end
 437
 438 directory "/var/log/tile" do
 439   owner "tile"
 440   group "tile"
 441   mode 0o755
 442 end
 443
 444 package %w[
 445   osm2pgsql
 446   ruby
 447   osmium-tool
 448   pyosmium
 449   python3-pyproj
 450 ]
 451
 452 remote_directory "/usr/local/bin" do
 453   source "bin"
 454   owner "root"
 455   group "root"
 456   mode 0o755
 457   files_owner "root"
 458   files_group "root"
 459   files_mode 0o755
 460 end
 461
 462 template "/usr/local/bin/expire-tiles" do
 463   source "expire-tiles.erb"
 464   owner "root"
 465   group "root"
 466   mode 0o755
 467 end
 468
 469 directory "/var/lib/replicate" do
 470   owner "tile"
 471   group "tile"
 472   mode 0o755
 473 end
 474
 475 directory "/var/lib/replicate/expire-queue" do
 476   owner "tile"
 477   group "www-data"
 478   mode 0o775
 479 end
 480
 481 template "/usr/local/bin/replicate" do
 482   source "replicate.erb"
 483   owner "root"
 484   group "root"
 485   mode 0o755
 486   variables :postgresql_version => postgresql_version.to_f
 487 end
 488
 489 systemd_service "expire-tiles" do
 490   description "Tile dirtying service"
 491   type "simple"
 492   user "www-data"
 493   exec_start "/usr/local/bin/expire-tiles"
 494   standard_output "null"
 495   private_tmp true
 496   private_devices true
 497   protect_system "full"
 498   protect_home true
 499   no_new_privileges true
 500 end
 501
 502 systemd_path "expire-tiles" do
 503   description "Tile dirtying trigger"
 504   directory_not_empty "/var/lib/replicate/expire-queue"
 505 end
 506
 507 service "expire-tiles.path" do
 508   action [:enable, :start]
 509   subscribes :restart, "systemd_path[expire-tiles]"
 510 end
 511
 512 systemd_service "replicate" do
 513   description "Rendering database replication service"
 514   after "postgresql.service"
 515   wants "postgresql.service"
 516   user "tile"
 517   exec_start "/usr/local/bin/replicate"
 518   private_tmp true
 519   private_devices true
 520   protect_system "full"
 521   protect_home true
 522   no_new_privileges true
 523   restart "on-failure"
 524 end
 525
 526 service "replicate" do
 527   action [:enable, :start]
 528   subscribes :restart, "template[/usr/local/bin/replicate]"
 529   subscribes :restart, "systemd_service[replicate]"
 530 end
 531
 532 template "/etc/logrotate.d/replicate" do
 533   source "replicate.logrotate.erb"
 534   owner "root"
 535   group "root"
 536   mode 0o644
 537 end
 538
 539 template "/usr/local/bin/render-lowzoom" do
 540   source "render-lowzoom.erb"
 541   owner "root"
 542   group "root"
 543   mode 0o755
 544 end
 545
 546 systemd_service "render-lowzoom" do
 547   description "Render low zoom tiles"
 548   user "tile"
 549   exec_start "/usr/local/bin/render-lowzoom"
 550   private_tmp true
 551   private_devices true
 552   private_network true
 553   protect_system "full"
 554   protect_home true
 555   no_new_privileges true
 556 end
 557
 558 systemd_timer "render-lowzoom" do
 559   description "Render low zoom tiles"
 560   on_calendar "Sun *-*~07/1 01:00:00"
 561 end
 562
 563 service "render-lowzoom.timer" do
 564   action [:enable, :start]
 565 end
 566
 567 package "liblockfile-simple-perl"
 568 package "libfilesys-df-perl"
 569
 570 template "/usr/local/bin/cleanup-tiles" do
 571   source "cleanup-tiles.erb"
 572   owner "root"
 573   group "root"
 574   mode 0o755
 575 end
 576
 577 tile_directories = node[:tile][:styles].collect do |_, style|
 578   style[:tile_directories].collect { |directory| directory[:name] }
 579 end.flatten.sort.uniq
 580
 581 file "/etc/cron.d/cleanup-tiles" do
 582   action :delete
 583 end
 584
 585 tile_directories.each do |directory|
 586   label = directory.gsub("/", "-")
 587
 588   cron_d "cleanup-tiles#{label}" do
 589     minute "0"
 590     user "www-data"
 591     command "ionice -c 3 /usr/local/bin/cleanup-tiles #{directory}"
 592     mailto "admins@openstreetmap.org"
 593   end
 594 end
 595
 596 munin_plugin "mod_tile_fresh"
 597 munin_plugin "mod_tile_latency"
 598 munin_plugin "mod_tile_response"
 599 munin_plugin "mod_tile_zoom"
 600
 601 munin_plugin "renderd_processed"
 602 munin_plugin "renderd_queue"
 603 munin_plugin "renderd_queue_time"
 604 munin_plugin "renderd_zoom"
 605 munin_plugin "renderd_zoom_time"
 606
 607 munin_plugin "replication_delay"