cookbooks/tile/recipes/default.rb

   1 #
   2 # Cookbook:: tile
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2013, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "apache"
  22 include_recipe "git"
  23 include_recipe "munin"
  24 include_recipe "nodejs"
  25 include_recipe "postgresql"
  26 include_recipe "prometheus"
  27 include_recipe "python"
  28 include_recipe "ruby"
  29 include_recipe "tools"
  30
  31 blocks = data_bag_item("tile", "blocks")
  32 admins = data_bag_item("apache", "admins")
  33 web_passwords = data_bag_item("web", "passwords")
  34
  35 apache_module "alias"
  36 apache_module "cgi"
  37 apache_module "expires"
  38 apache_module "headers"
  39 apache_module "remoteip"
  40 apache_module "rewrite"
  41
  42 apache_module "tile" do
  43   conf "tile.conf.erb"
  44 end
  45
  46 apache_conf "renderd" do
  47   action :disable
  48 end
  49
  50 ssl_certificate node[:fqdn] do
  51   domains [node[:fqdn], "tile.openstreetmap.org", "render.openstreetmap.org"]
  52   notifies :reload, "service[apache2]"
  53 end
  54
  55 remote_file "#{Chef::Config[:file_cache_path]}/fastly-ip-list.json" do
  56   source "https://api.fastly.com/public-ip-list"
  57   compile_time true
  58   ignore_failure true
  59 end
  60
  61 fastlyips = JSON.parse(IO.read("#{Chef::Config[:file_cache_path]}/fastly-ip-list.json"))
  62
  63 remote_file "#{Chef::Config[:file_cache_path]}/statuscake-locations.json" do
  64   source "https://app.statuscake.com/Workfloor/Locations.php?format=json"
  65   compile_time true
  66   ignore_failure true
  67 end
  68
  69 statuscakelocations = JSON.parse(IO.read("#{Chef::Config[:file_cache_path]}/statuscake-locations.json"))
  70
  71 apache_site "default" do
  72   action :disable
  73 end
  74
  75 apache_site "tileserver_site" do
  76   action :disable
  77 end
  78
  79 apache_site "tile.openstreetmap.org" do
  80   template "apache.erb"
  81   variables :fastly => fastlyips["addresses"] + fastlyips["ipv6_addresses"],
  82             :statuscake => statuscakelocations.flat_map { |_, v| [v["ip"], v["ipv6"]] },
  83             :admins => admins["hosts"]
  84 end
  85
  86 template "/etc/logrotate.d/apache2" do
  87   source "logrotate.apache.erb"
  88   owner "root"
  89   group "root"
  90   mode "644"
  91 end
  92
  93 directory "/srv/tile.openstreetmap.org" do
  94   owner "tile"
  95   group "tile"
  96   mode "755"
  97 end
  98
  99 tile_directories = node[:tile][:styles].collect do |_, style|
 100   style[:tile_directories].collect { |directory| directory[:name] }
 101 end.flatten.sort.uniq
 102
 103 package "renderd"
 104
 105 systemd_service "renderd" do
 106   dropin "chef"
 107   after "postgresql.service"
 108   wants "postgresql.service"
 109   limit_nofile 4096
 110   memory_high "80%"
 111   memory_max "90%"
 112   sandbox true
 113   restrict_address_families "AF_UNIX"
 114   read_write_paths tile_directories
 115   restart "on-failure"
 116 end
 117
 118 service "renderd" do
 119   action [:enable, :start]
 120   subscribes :restart, "systemd_service[renderd]"
 121 end
 122
 123 directory "/srv/tile.openstreetmap.org/tiles" do
 124   owner "tile"
 125   group "tile"
 126   mode "755"
 127 end
 128
 129 template "/etc/renderd.conf" do
 130   source "renderd.conf.erb"
 131   owner "root"
 132   group "root"
 133   mode "644"
 134   notifies :reload, "service[apache2]"
 135   notifies :restart, "service[renderd]"
 136 end
 137
 138 remote_directory "/srv/tile.openstreetmap.org/html" do
 139   source "html"
 140   owner "tile"
 141   group "tile"
 142   mode "755"
 143   files_owner "tile"
 144   files_group "tile"
 145   files_mode "644"
 146 end
 147
 148 template "/srv/tile.openstreetmap.org/html/index.html" do
 149   source "index.html.erb"
 150   owner "tile"
 151   group "tile"
 152   mode "644"
 153 end
 154
 155 package %w[
 156   python3-cairo
 157   python3-mapnik
 158   python3-pyproj
 159   python3-setuptools
 160 ]
 161
 162 python_package "pyotp" do
 163   python_version "3"
 164 end
 165
 166 directory "/srv/tile.openstreetmap.org/cgi-bin" do
 167   owner "tile"
 168   group "tile"
 169   mode "755"
 170 end
 171
 172 template "/srv/tile.openstreetmap.org/cgi-bin/export" do
 173   source "export.erb"
 174   owner "tile"
 175   group "tile"
 176   mode "755"
 177   variables :blocks => blocks, :totp_key => web_passwords["totp_key"]
 178 end
 179
 180 template "/srv/tile.openstreetmap.org/cgi-bin/debug" do
 181   source "debug.erb"
 182   owner "tile"
 183   group "tile"
 184   mode "755"
 185 end
 186
 187 systemd_service "export-cleanup" do
 188   description "Cleanup stale export temporary files"
 189   joins_namespace_of "apache2.service"
 190   exec_start "find /tmp -ignore_readdir_race -name 'export??????' -mmin +60 -delete"
 191   user "www-data"
 192   sandbox true
 193 end
 194
 195 systemd_timer "export-cleanup" do
 196   description "Cleanup stale export temporary files"
 197   on_boot_sec "60m"
 198   on_unit_inactive_sec "60m"
 199 end
 200
 201 service "export-cleanup.timer" do
 202   action [:enable, :start]
 203 end
 204
 205 directory "/srv/tile.openstreetmap.org/data" do
 206   owner "tile"
 207   group "tile"
 208   mode "755"
 209 end
 210
 211 package %w[
 212   mapnik-utils
 213   tar
 214   unzip
 215 ]
 216
 217 node[:tile][:data].each_value do |data|
 218   url = data[:url]
 219   file = "/srv/tile.openstreetmap.org/data/#{File.basename(url)}"
 220
 221   if data[:directory]
 222     directory = "/srv/tile.openstreetmap.org/data/#{data[:directory]}"
 223
 224     directory directory do
 225       owner "tile"
 226       group "tile"
 227       mode "755"
 228     end
 229   else
 230     directory = "/srv/tile.openstreetmap.org/data"
 231   end
 232
 233   if file =~ /\.tgz$/
 234     execute file do
 235       action :nothing
 236       command "tar -zxf #{file} -C #{directory}"
 237       user "tile"
 238       group "tile"
 239     end
 240   elsif file =~ /\.tar\.bz2$/
 241     execute file do
 242       action :nothing
 243       command "tar -jxf #{file} -C #{directory}"
 244       user "tile"
 245       group "tile"
 246     end
 247   elsif file =~ /\.zip$/
 248     execute file do
 249       action :nothing
 250       command "unzip -qq -o #{file} -d #{directory}"
 251       user "tile"
 252       group "tile"
 253     end
 254   end
 255
 256   execute "#{file}_shapeindex" do
 257     action :nothing
 258     command "find #{directory} -type f -iname '*.shp' -print0 | xargs -0 --no-run-if-empty shapeindex --shape_files"
 259     user "tile"
 260     group "tile"
 261     subscribes :run, "execute[#{file}]", :immediately
 262   end
 263
 264   remote_file file do
 265     if data[:refresh]
 266       action :create
 267       use_conditional_get true
 268       ignore_failure true
 269     else
 270       action :create_if_missing
 271     end
 272
 273     source url
 274     owner "tile"
 275     group "tile"
 276     mode "644"
 277     backup false
 278     notifies :run, "execute[#{file}]", :immediately
 279     notifies :restart, "service[renderd]"
 280   end
 281 end
 282
 283 nodejs_package "carto"
 284
 285 systemd_service "update-lowzoom@" do
 286   description "Low zoom tile update service for %i layer"
 287   user "tile"
 288   exec_start_pre "+/bin/systemctl stop render-lowzoom.service"
 289   exec_start "/bin/bash /usr/local/bin/update-lowzoom-%i"
 290   runtime_directory "update-lowzoom-%i"
 291   sandbox true
 292   restrict_address_families "AF_UNIX"
 293   read_write_paths [
 294     "/srv/tile.openstreetmap.org/tiles/%i",
 295     "/var/log/tile"
 296   ]
 297   restart "on-failure"
 298 end
 299
 300 directory "/srv/tile.openstreetmap.org/styles" do
 301   owner "tile"
 302   group "tile"
 303   mode "755"
 304 end
 305
 306 node[:tile][:styles].each do |name, details|
 307   style_directory = "/srv/tile.openstreetmap.org/styles/#{name}"
 308   tile_directory = "/srv/tile.openstreetmap.org/tiles/#{name}"
 309
 310   template "/usr/local/bin/update-lowzoom-#{name}" do
 311     source "update-lowzoom.erb"
 312     owner "root"
 313     group "root"
 314     mode "755"
 315     variables :style => name
 316   end
 317
 318   service "update-lowzoom@#{name}" do
 319     action :disable
 320     supports :restart => true
 321   end
 322
 323   directory tile_directory do
 324     owner "tile"
 325     group "tile"
 326     mode "755"
 327   end
 328
 329   details[:tile_directories].each do |directory|
 330     directory directory[:name] do
 331       owner "_renderd"
 332       group "_renderd"
 333       mode "755"
 334     end
 335
 336     directory[:min_zoom].upto(directory[:max_zoom]) do |zoom|
 337       directory "#{directory[:name]}/#{zoom}" do
 338         owner "_renderd"
 339         group "_renderd"
 340         mode "755"
 341       end
 342
 343       link "#{tile_directory}/#{zoom}" do
 344         to "#{directory[:name]}/#{zoom}"
 345         owner "tile"
 346         group "tile"
 347       end
 348     end
 349   end
 350
 351   file "#{tile_directory}/planet-import-complete" do
 352     action :create_if_missing
 353     owner "tile"
 354     group "tile"
 355     mode "444"
 356   end
 357
 358   git style_directory do
 359     action :sync
 360     repository details[:repository]
 361     revision details[:revision]
 362     user "tile"
 363     group "tile"
 364   end
 365
 366   link "#{style_directory}/data" do
 367     to "/srv/tile.openstreetmap.org/data"
 368     owner "tile"
 369     group "tile"
 370   end
 371
 372   if details[:fonts_script]
 373     execute details[:fonts_script] do
 374       action :nothing
 375       command details[:fonts_script]
 376       cwd style_directory
 377       user "tile"
 378       group "tile"
 379       subscribes :run, "git[#{style_directory}]"
 380     end
 381   end
 382
 383   execute "#{style_directory}/project.mml" do
 384     action :nothing
 385     command "carto -a 3.0.22 project.mml > project.xml"
 386     cwd style_directory
 387     user "tile"
 388     group "tile"
 389     subscribes :run, "git[#{style_directory}]"
 390     notifies :restart, "service[renderd]", :immediately
 391     notifies :restart, "service[update-lowzoom@#{name}]"
 392   end
 393 end
 394
 395 postgresql_version = node[:tile][:database][:cluster].split("/").first
 396 postgis_version = node[:tile][:database][:postgis]
 397
 398 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
 399
 400 postgresql_user "jburgess" do
 401   cluster node[:tile][:database][:cluster]
 402   superuser true
 403 end
 404
 405 postgresql_user "tomh" do
 406   cluster node[:tile][:database][:cluster]
 407   superuser true
 408 end
 409
 410 postgresql_user "pnorman" do
 411   cluster node[:tile][:database][:cluster]
 412   superuser true
 413 end
 414
 415 postgresql_user "tile" do
 416   cluster node[:tile][:database][:cluster]
 417 end
 418
 419 postgresql_user "www-data" do
 420   cluster node[:tile][:database][:cluster]
 421 end
 422
 423 postgresql_user "_renderd" do
 424   cluster node[:tile][:database][:cluster]
 425 end
 426
 427 postgresql_database "gis" do
 428   cluster node[:tile][:database][:cluster]
 429   owner "tile"
 430 end
 431
 432 postgresql_extension "postgis" do
 433   cluster node[:tile][:database][:cluster]
 434   database "gis"
 435 end
 436
 437 postgresql_extension "hstore" do
 438   cluster node[:tile][:database][:cluster]
 439   database "gis"
 440   only_if { node[:tile][:database][:hstore] }
 441 end
 442
 443 %w[geography_columns planet_osm_nodes planet_osm_rels planet_osm_ways raster_columns raster_overviews].each do |table|
 444   postgresql_table table do
 445     cluster node[:tile][:database][:cluster]
 446     database "gis"
 447     owner "tile"
 448     permissions "tile" => :all
 449   end
 450 end
 451
 452 %w[geometry_columns planet_osm_line planet_osm_point planet_osm_polygon planet_osm_roads spatial_ref_sys].each do |table|
 453   postgresql_table table do
 454     cluster node[:tile][:database][:cluster]
 455     database "gis"
 456     owner "tile"
 457     permissions "tile" => :all, "www-data" => :select, "_renderd" => :select
 458   end
 459 end
 460
 461 package %w[
 462   gdal-bin
 463   python3-yaml
 464   python3-psycopg2
 465 ]
 466
 467 if node[:tile][:database][:external_data_script]
 468   execute node[:tile][:database][:external_data_script] do
 469     command "#{node[:tile][:database][:external_data_script]} -R _renderd"
 470     cwd "/srv/tile.openstreetmap.org"
 471     user "tile"
 472     group "tile"
 473     ignore_failure true
 474   end
 475
 476   Array(node[:tile][:database][:external_data_tables]).each do |table|
 477     postgresql_table table do
 478       cluster node[:tile][:database][:cluster]
 479       database "gis"
 480       owner "tile"
 481       permissions "tile" => :all, "www-data" => :select, "_renderd" => :select
 482     end
 483   end
 484 end
 485
 486 postgresql_munin "gis" do
 487   cluster node[:tile][:database][:cluster]
 488   database "gis"
 489 end
 490
 491 directory File.dirname(node[:tile][:database][:node_file]) do
 492   owner "root"
 493   group "root"
 494   mode "755"
 495   recursive true
 496 end
 497
 498 file node[:tile][:database][:node_file] do
 499   owner "tile"
 500   group "_renderd"
 501   mode "660"
 502 end
 503
 504 directory "/var/log/tile" do
 505   owner "tile"
 506   group "tile"
 507   mode "755"
 508 end
 509
 510 package %w[
 511   osm2pgsql
 512   osmium-tool
 513   pyosmium
 514 ]
 515
 516 directory "/var/lib/replicate" do
 517   owner "tile"
 518   group "tile"
 519   mode "755"
 520 end
 521
 522 template "/usr/local/bin/expire-tiles" do
 523   source "expire-tiles.erb"
 524   owner "root"
 525   group "root"
 526   mode "755"
 527 end
 528
 529 directory "/var/lib/replicate/expire-queue" do
 530   owner "tile"
 531   group "_renderd"
 532   mode "775"
 533 end
 534
 535 template "/usr/local/bin/replicate" do
 536   source "replicate.erb"
 537   owner "root"
 538   group "root"
 539   mode "755"
 540 end
 541
 542 systemd_service "expire-tiles" do
 543   description "Tile dirtying service"
 544   type "simple"
 545   user "_renderd"
 546   exec_start "/usr/local/bin/expire-tiles"
 547   nice 10
 548   sandbox true
 549   restrict_address_families "AF_UNIX"
 550   read_write_paths tile_directories + [
 551                      "/var/lib/replicate/expire-queue"
 552                    ]
 553 end
 554
 555 systemd_path "expire-tiles" do
 556   description "Tile dirtying trigger"
 557   directory_not_empty "/var/lib/replicate/expire-queue"
 558 end
 559
 560 service "expire-tiles.path" do
 561   action [:enable, :start]
 562   subscribes :restart, "systemd_path[expire-tiles]"
 563 end
 564
 565 template "/usr/local/bin/replicate-post" do
 566   source "replicate-post.erb"
 567   owner "root"
 568   group "root"
 569   mode "755"
 570 end
 571
 572 osm2pgsql_arguments = %w[
 573     --number-processes=1
 574     --log-progress=false
 575     --expire-tiles=13-19
 576     --expire-output=/var/lib/replicate/dirty-tiles.txt
 577   ]
 578
 579 osm2pgsql_arguments.append("--multi-geometry") if node[:tile][:database][:multi_geometry]
 580 osm2pgsql_arguments.append("--hstore") if node[:tile][:database][:hstore]
 581 osm2pgsql_arguments.append("--tag-transform-script=#{node[:tile][:database][:tag_transform_script]}") if node[:tile][:database][:tag_transform_script]
 582
 583 systemd_service "replicate" do
 584   description "Rendering database replication service"
 585   after "postgresql.service"
 586   wants "postgresql.service"
 587   user "tile"
 588   exec_start "/usr/local/bin/replicate"
 589   sandbox :enable_network => true
 590   restrict_address_families "AF_UNIX"
 591   read_write_paths [
 592     "/store/database/nodes",
 593     "/var/lib/replicate"
 594   ]
 595   restart "on-failure"
 596 end
 597
 598 service "replicate" do
 599   action [:enable, :start]
 600   subscribes :restart, "template[/usr/local/bin/replicate]"
 601   subscribes :restart, "systemd_service[replicate]"
 602 end
 603
 604 template "/usr/local/bin/render-lowzoom" do
 605   source "render-lowzoom.erb"
 606   owner "root"
 607   group "root"
 608   mode "755"
 609 end
 610
 611 systemd_service "render-lowzoom" do
 612   description "Render low zoom tiles"
 613   condition_path_exists_glob "!/run/update-lowzoom-*"
 614   user "tile"
 615   exec_start "/usr/local/bin/render-lowzoom"
 616   sandbox true
 617   restrict_address_families "AF_UNIX"
 618   read_write_paths "/var/log/tile"
 619 end
 620
 621 systemd_timer "render-lowzoom" do
 622   description "Render low zoom tiles"
 623   on_calendar "Fri *-*-* 23:00:00 UTC"
 624 end
 625
 626 service "render-lowzoom.timer" do
 627   action [:enable, :start]
 628 end
 629
 630 package "liblockfile-simple-perl"
 631 package "libfilesys-df-perl"
 632
 633 template "/usr/local/bin/cleanup-tiles" do
 634   source "cleanup-tiles.erb"
 635   owner "root"
 636   group "root"
 637   mode "755"
 638 end
 639
 640 systemd_service "cleanup-tiles@" do
 641   description "Cleanup old tiles for /%I"
 642   exec_start "/usr/local/bin/cleanup-tiles /%I"
 643   user "_renderd"
 644   io_scheduling_class "idle"
 645   sandbox true
 646   read_write_paths "/%I"
 647 end
 648
 649 systemd_timer "cleanup-tiles@" do
 650   description "Cleanup old tiles for /%I"
 651   on_boot_sec "30m"
 652   on_unit_inactive_sec "60m"
 653   randomized_delay_sec "10m"
 654 end
 655
 656 tile_directories.each do |directory|
 657   label = directory[1..].gsub("/", "-")
 658
 659   service "cleanup-tiles@#{label}.timer" do
 660     action [:enable, :start]
 661   end
 662 end
 663
 664 munin_plugin "mod_tile_fresh"
 665 munin_plugin "mod_tile_latency"
 666 munin_plugin "mod_tile_response"
 667 munin_plugin "mod_tile_zoom"
 668
 669 munin_plugin "renderd_processed"
 670 munin_plugin "renderd_queue"
 671 munin_plugin "renderd_queue_time"
 672 munin_plugin "renderd_zoom"
 673 munin_plugin "renderd_zoom_time"
 674
 675 munin_plugin "replication_delay"
 676
 677 package "ruby-webrick"
 678
 679 prometheus_exporter "modtile" do
 680   port 9494
 681 end
 682
 683 prometheus_exporter "renderd" do
 684   port 9393
 685 end