cookbooks/tile/recipes/default.rb

   1 #
   2 # Cookbook:: tile
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2013, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "apache"
  22 include_recipe "git"
  23 include_recipe "munin"
  24 include_recipe "nodejs"
  25 include_recipe "postgresql"
  26 include_recipe "prometheus"
  27 include_recipe "python"
  28 include_recipe "tools"
  29
  30 blocks = data_bag_item("tile", "blocks")
  31 web_passwords = data_bag_item("web", "passwords")
  32
  33 apache_module "alias"
  34 apache_module "cgi"
  35 apache_module "expires"
  36 apache_module "headers"
  37 apache_module "remoteip"
  38 apache_module "rewrite"
  39
  40 apache_module "tile" do
  41   conf "tile.conf.erb"
  42 end
  43
  44 ssl_certificate node[:fqdn] do
  45   domains [node[:fqdn], "tile.openstreetmap.org", "render.openstreetmap.org"]
  46   notifies :reload, "service[apache2]"
  47 end
  48
  49 tilecaches = search(:node, "roles:tilecache").sort_by { |n| n[:hostname] }
  50
  51 apache_site "default" do
  52   action [:disable]
  53 end
  54
  55 apache_site "tile.openstreetmap.org" do
  56   template "apache.erb"
  57   variables :caches => tilecaches
  58 end
  59
  60 template "/etc/logrotate.d/apache2" do
  61   source "logrotate.apache.erb"
  62   owner "root"
  63   group "root"
  64   mode "644"
  65 end
  66
  67 directory "/srv/tile.openstreetmap.org" do
  68   owner "tile"
  69   group "tile"
  70   mode "755"
  71 end
  72
  73 package "renderd"
  74
  75 systemd_service "renderd" do
  76   description "Mapnik rendering daemon"
  77   after "postgresql.service"
  78   wants "postgresql.service"
  79   user "www-data"
  80   exec_start "/usr/bin/renderd -f"
  81   runtime_directory "renderd"
  82   standard_error "null"
  83   private_tmp true
  84   private_devices true
  85   private_network true
  86   protect_system "full"
  87   protect_home true
  88   no_new_privileges true
  89   restart "on-failure"
  90 end
  91
  92 service "renderd" do
  93   action [:enable, :start]
  94   subscribes :restart, "systemd_service[renderd]"
  95 end
  96
  97 directory "/srv/tile.openstreetmap.org/tiles" do
  98   owner "tile"
  99   group "tile"
 100   mode "755"
 101 end
 102
 103 template "/etc/renderd.conf" do
 104   source "renderd.conf.erb"
 105   owner "root"
 106   group "root"
 107   mode "644"
 108   notifies :reload, "service[apache2]"
 109   notifies :restart, "service[renderd]"
 110 end
 111
 112 remote_directory "/srv/tile.openstreetmap.org/html" do
 113   source "html"
 114   owner "tile"
 115   group "tile"
 116   mode "755"
 117   files_owner "tile"
 118   files_group "tile"
 119   files_mode "644"
 120 end
 121
 122 template "/srv/tile.openstreetmap.org/html/index.html" do
 123   source "index.html.erb"
 124   owner "tile"
 125   group "tile"
 126   mode "644"
 127 end
 128
 129 package %w[
 130   python3-cairo
 131   python3-mapnik
 132   python3-setuptools
 133 ]
 134
 135 python_package "pyotp" do
 136   python_version "3"
 137 end
 138
 139 package %w[
 140   fonts-noto-cjk
 141   fonts-noto-hinted
 142   fonts-noto-unhinted
 143   fonts-hanazono
 144   ttf-unifont
 145 ]
 146
 147 ["NotoSansArabicUI-Regular.ttf", "NotoSansArabicUI-Bold.ttf"].each do |font|
 148   remote_file "/usr/share/fonts/truetype/noto/#{font}" do
 149     action :create_if_missing
 150     source "https://github.com/googlei18n/noto-fonts/raw/master/hinted/#{font}"
 151     owner "root"
 152     group "root"
 153     mode "644"
 154   end
 155 end
 156
 157 directory "/srv/tile.openstreetmap.org/cgi-bin" do
 158   owner "tile"
 159   group "tile"
 160   mode "755"
 161 end
 162
 163 template "/srv/tile.openstreetmap.org/cgi-bin/export" do
 164   source "export.erb"
 165   owner "tile"
 166   group "tile"
 167   mode "755"
 168   variables :blocks => blocks, :totp_key => web_passwords["totp_key"]
 169 end
 170
 171 template "/srv/tile.openstreetmap.org/cgi-bin/debug" do
 172   source "debug.erb"
 173   owner "tile"
 174   group "tile"
 175   mode "755"
 176 end
 177
 178 template "/etc/cron.hourly/export" do
 179   source "export.cron.erb"
 180   owner "root"
 181   group "root"
 182   mode "755"
 183 end
 184
 185 directory "/srv/tile.openstreetmap.org/data" do
 186   owner "tile"
 187   group "tile"
 188   mode "755"
 189 end
 190
 191 package "mapnik-utils"
 192
 193 node[:tile][:data].each_value do |data|
 194   url = data[:url]
 195   file = "/srv/tile.openstreetmap.org/data/#{File.basename(url)}"
 196
 197   if data[:directory]
 198     directory = "/srv/tile.openstreetmap.org/data/#{data[:directory]}"
 199
 200     directory directory do
 201       owner "tile"
 202       group "tile"
 203       mode "755"
 204     end
 205   else
 206     directory = "/srv/tile.openstreetmap.org/data"
 207   end
 208
 209   if file =~ /\.tgz$/
 210     package "tar"
 211
 212     execute file do
 213       action :nothing
 214       command "tar -zxf #{file} -C #{directory}"
 215       user "tile"
 216       group "tile"
 217     end
 218   elsif file =~ /\.tar\.bz2$/
 219     package "tar"
 220
 221     execute file do
 222       action :nothing
 223       command "tar -jxf #{file} -C #{directory}"
 224       user "tile"
 225       group "tile"
 226     end
 227   elsif file =~ /\.zip$/
 228     package "unzip"
 229
 230     execute file do
 231       action :nothing
 232       command "unzip -qq -o #{file} -d #{directory}"
 233       user "tile"
 234       group "tile"
 235     end
 236   end
 237
 238   execute "#{file}_shapeindex" do
 239     action :nothing
 240     command "find #{directory} -type f -iname '*.shp' -print0 | xargs -0 --no-run-if-empty shapeindex --shape_files"
 241     user "tile"
 242     group "tile"
 243     subscribes :run, "execute[#{file}]", :immediately
 244   end
 245
 246   remote_file file do
 247     if data[:refresh]
 248       action :create
 249       use_conditional_get true
 250       ignore_failure true
 251     else
 252       action :create_if_missing
 253     end
 254
 255     source url
 256     owner "tile"
 257     group "tile"
 258     mode "644"
 259     backup false
 260     notifies :run, "execute[#{file}]", :immediately
 261     notifies :restart, "service[renderd]"
 262   end
 263 end
 264
 265 nodejs_package "carto"
 266
 267 systemd_service "update-lowzoom@" do
 268   description "Low zoom tile update service for %i layer"
 269   user "tile"
 270   exec_start "/bin/bash /usr/local/bin/update-lowzoom-%i"
 271   private_tmp true
 272   private_devices true
 273   private_network true
 274   protect_system "full"
 275   protect_home true
 276   no_new_privileges true
 277   restart "on-failure"
 278 end
 279
 280 directory "/srv/tile.openstreetmap.org/styles" do
 281   owner "tile"
 282   group "tile"
 283   mode "755"
 284 end
 285
 286 node[:tile][:styles].each do |name, details|
 287   style_directory = "/srv/tile.openstreetmap.org/styles/#{name}"
 288   tile_directory = "/srv/tile.openstreetmap.org/tiles/#{name}"
 289
 290   template "/usr/local/bin/update-lowzoom-#{name}" do
 291     source "update-lowzoom.erb"
 292     owner "root"
 293     group "root"
 294     mode "755"
 295     variables :style => name
 296   end
 297
 298   service "update-lowzoom@#{name}" do
 299     action :disable
 300     supports :restart => true
 301   end
 302
 303   directory tile_directory do
 304     owner "tile"
 305     group "tile"
 306     mode "755"
 307   end
 308
 309   details[:tile_directories].each do |directory|
 310     directory directory[:name] do
 311       owner "www-data"
 312       group "www-data"
 313       mode "755"
 314     end
 315
 316     directory[:min_zoom].upto(directory[:max_zoom]) do |zoom|
 317       directory "#{directory[:name]}/#{zoom}" do
 318         owner "www-data"
 319         group "www-data"
 320         mode "755"
 321       end
 322
 323       link "#{tile_directory}/#{zoom}" do
 324         to "#{directory[:name]}/#{zoom}"
 325         owner "tile"
 326         group "tile"
 327       end
 328     end
 329   end
 330
 331   file "#{tile_directory}/planet-import-complete" do
 332     action :create_if_missing
 333     owner "tile"
 334     group "tile"
 335     mode "444"
 336   end
 337
 338   git style_directory do
 339     action :sync
 340     repository details[:repository]
 341     revision details[:revision]
 342     user "tile"
 343     group "tile"
 344   end
 345
 346   link "#{style_directory}/data" do
 347     to "/srv/tile.openstreetmap.org/data"
 348     owner "tile"
 349     group "tile"
 350   end
 351
 352   execute "#{style_directory}/project.mml" do
 353     action :nothing
 354     command "carto -a 3.0.0 project.mml > project.xml"
 355     cwd style_directory
 356     user "tile"
 357     group "tile"
 358     subscribes :run, "git[#{style_directory}]"
 359     notifies :restart, "service[renderd]", :immediately
 360     notifies :restart, "service[update-lowzoom@#{name}]"
 361   end
 362 end
 363
 364 postgresql_version = node[:tile][:database][:cluster].split("/").first
 365 postgis_version = node[:tile][:database][:postgis]
 366
 367 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
 368
 369 postgresql_user "jburgess" do
 370   cluster node[:tile][:database][:cluster]
 371   superuser true
 372 end
 373
 374 postgresql_user "tomh" do
 375   cluster node[:tile][:database][:cluster]
 376   superuser true
 377 end
 378
 379 postgresql_user "tile" do
 380   cluster node[:tile][:database][:cluster]
 381 end
 382
 383 postgresql_user "www-data" do
 384   cluster node[:tile][:database][:cluster]
 385 end
 386
 387 postgresql_database "gis" do
 388   cluster node[:tile][:database][:cluster]
 389   owner "tile"
 390 end
 391
 392 postgresql_extension "postgis" do
 393   cluster node[:tile][:database][:cluster]
 394   database "gis"
 395 end
 396
 397 postgresql_extension "hstore" do
 398   cluster node[:tile][:database][:cluster]
 399   database "gis"
 400   only_if { node[:tile][:database][:hstore] }
 401 end
 402
 403 %w[geography_columns planet_osm_nodes planet_osm_rels planet_osm_ways raster_columns raster_overviews spatial_ref_sys].each do |table|
 404   postgresql_table table do
 405     cluster node[:tile][:database][:cluster]
 406     database "gis"
 407     owner "tile"
 408     permissions "tile" => :all
 409   end
 410 end
 411
 412 %w[geometry_columns planet_osm_line planet_osm_point planet_osm_polygon planet_osm_roads].each do |table|
 413   postgresql_table table do
 414     cluster node[:tile][:database][:cluster]
 415     database "gis"
 416     owner "tile"
 417     permissions "tile" => :all, "www-data" => :select
 418   end
 419 end
 420
 421 postgresql_munin "gis" do
 422   cluster node[:tile][:database][:cluster]
 423   database "gis"
 424 end
 425
 426 directory File.dirname(node[:tile][:database][:node_file]) do
 427   owner "root"
 428   group "root"
 429   mode "755"
 430   recursive true
 431 end
 432
 433 file node[:tile][:database][:node_file] do
 434   owner "tile"
 435   group "www-data"
 436   mode "660"
 437 end
 438
 439 directory "/var/log/tile" do
 440   owner "tile"
 441   group "tile"
 442   mode "755"
 443 end
 444
 445 package %w[
 446   osm2pgsql
 447   ruby
 448   osmium-tool
 449   pyosmium
 450   python3-pyproj
 451 ]
 452
 453 remote_directory "/usr/local/bin" do
 454   source "bin"
 455   owner "root"
 456   group "root"
 457   mode "755"
 458   files_owner "root"
 459   files_group "root"
 460   files_mode "755"
 461 end
 462
 463 template "/usr/local/bin/expire-tiles" do
 464   source "expire-tiles.erb"
 465   owner "root"
 466   group "root"
 467   mode "755"
 468 end
 469
 470 directory "/var/lib/replicate" do
 471   owner "tile"
 472   group "tile"
 473   mode "755"
 474 end
 475
 476 directory "/var/lib/replicate/expire-queue" do
 477   owner "tile"
 478   group "www-data"
 479   mode "775"
 480 end
 481
 482 template "/usr/local/bin/replicate" do
 483   source "replicate.erb"
 484   owner "root"
 485   group "root"
 486   mode "755"
 487   variables :postgresql_version => postgresql_version.to_f
 488 end
 489
 490 systemd_service "expire-tiles" do
 491   description "Tile dirtying service"
 492   type "simple"
 493   user "www-data"
 494   exec_start "/usr/local/bin/expire-tiles"
 495   standard_output "null"
 496   private_tmp true
 497   private_devices true
 498   protect_system "full"
 499   protect_home true
 500   no_new_privileges true
 501 end
 502
 503 systemd_path "expire-tiles" do
 504   description "Tile dirtying trigger"
 505   directory_not_empty "/var/lib/replicate/expire-queue"
 506 end
 507
 508 service "expire-tiles.path" do
 509   action [:enable, :start]
 510   subscribes :restart, "systemd_path[expire-tiles]"
 511 end
 512
 513 systemd_service "replicate" do
 514   description "Rendering database replication service"
 515   after "postgresql.service"
 516   wants "postgresql.service"
 517   user "tile"
 518   exec_start "/usr/local/bin/replicate"
 519   private_tmp true
 520   private_devices true
 521   protect_system "full"
 522   protect_home true
 523   no_new_privileges true
 524   restart "on-failure"
 525 end
 526
 527 service "replicate" do
 528   action [:enable, :start]
 529   subscribes :restart, "template[/usr/local/bin/replicate]"
 530   subscribes :restart, "systemd_service[replicate]"
 531 end
 532
 533 template "/etc/logrotate.d/replicate" do
 534   source "replicate.logrotate.erb"
 535   owner "root"
 536   group "root"
 537   mode "644"
 538 end
 539
 540 template "/usr/local/bin/render-lowzoom" do
 541   source "render-lowzoom.erb"
 542   owner "root"
 543   group "root"
 544   mode "755"
 545 end
 546
 547 systemd_service "render-lowzoom" do
 548   description "Render low zoom tiles"
 549   user "tile"
 550   exec_start "/usr/local/bin/render-lowzoom"
 551   private_tmp true
 552   private_devices true
 553   private_network true
 554   protect_system "full"
 555   protect_home true
 556   no_new_privileges true
 557 end
 558
 559 systemd_timer "render-lowzoom" do
 560   description "Render low zoom tiles"
 561   on_calendar "Sun *-*~07/1 01:00:00"
 562 end
 563
 564 service "render-lowzoom.timer" do
 565   action [:enable, :start]
 566 end
 567
 568 package "liblockfile-simple-perl"
 569 package "libfilesys-df-perl"
 570
 571 template "/usr/local/bin/cleanup-tiles" do
 572   source "cleanup-tiles.erb"
 573   owner "root"
 574   group "root"
 575   mode "755"
 576 end
 577
 578 tile_directories = node[:tile][:styles].collect do |_, style|
 579   style[:tile_directories].collect { |directory| directory[:name] }
 580 end.flatten.sort.uniq
 581
 582 tile_directories.each do |directory|
 583   label = directory.gsub("/", "-")
 584
 585   cron_d "cleanup-tiles#{label}" do
 586     minute "0"
 587     user "www-data"
 588     command "ionice -c 3 /usr/local/bin/cleanup-tiles #{directory}"
 589     mailto "admins@openstreetmap.org"
 590   end
 591 end
 592
 593 munin_plugin "mod_tile_fresh"
 594 munin_plugin "mod_tile_latency"
 595 munin_plugin "mod_tile_response"
 596 munin_plugin "mod_tile_zoom"
 597
 598 munin_plugin "renderd_processed"
 599 munin_plugin "renderd_queue"
 600 munin_plugin "renderd_queue_time"
 601 munin_plugin "renderd_zoom"
 602 munin_plugin "renderd_zoom_time"
 603
 604 munin_plugin "replication_delay"
 605
 606 prometheus_collector "modtile" do
 607   interval "1m"
 608 end
 609
 610 prometheus_collector "renderd" do
 611   interval "1m"
 612 end