cookbooks/tile/recipes/default.rb

   1 #
   2 # Cookbook:: tile
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2013, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "apache"
  22 include_recipe "git"
  23 include_recipe "munin"
  24 include_recipe "nodejs"
  25 include_recipe "postgresql"
  26 include_recipe "prometheus"
  27 include_recipe "python"
  28 include_recipe "ruby"
  29 include_recipe "tools"
  30
  31 blocks = data_bag_item("tile", "blocks")
  32 admins = data_bag_item("apache", "admins")
  33 web_passwords = data_bag_item("web", "passwords")
  34
  35 apache_module "alias"
  36 apache_module "cgi"
  37 apache_module "expires"
  38 apache_module "headers"
  39 apache_module "remoteip"
  40 apache_module "rewrite"
  41
  42 apache_module "tile" do
  43   conf "tile.conf.erb"
  44 end
  45
  46 apache_conf "renderd" do
  47   action :disable
  48 end
  49
  50 ssl_certificate node[:fqdn] do
  51   domains [node[:fqdn], "tile.openstreetmap.org", "render.openstreetmap.org"]
  52   notifies :reload, "service[apache2]"
  53 end
  54
  55 remote_file "#{Chef::Config[:file_cache_path]}/fastly-ip-list.json" do
  56   source "https://api.fastly.com/public-ip-list"
  57   compile_time true
  58   ignore_failure true
  59 end
  60
  61 fastlyips = JSON.parse(IO.read("#{Chef::Config[:file_cache_path]}/fastly-ip-list.json"))
  62
  63 remote_file "#{Chef::Config[:file_cache_path]}/statuscake-locations.json" do
  64   source "https://app.statuscake.com/Workfloor/Locations.php?format=json"
  65   compile_time true
  66   ignore_failure true
  67 end
  68
  69 statuscakelocations = JSON.parse(IO.read("#{Chef::Config[:file_cache_path]}/statuscake-locations.json"))
  70
  71 apache_site "default" do
  72   action :disable
  73 end
  74
  75 apache_site "tileserver_site" do
  76   action :disable
  77 end
  78
  79 apache_site "tile.openstreetmap.org" do
  80   template "apache.erb"
  81   variables :fastly => fastlyips["addresses"] + fastlyips["ipv6_addresses"],
  82             :statuscake => statuscakelocations.flat_map { |_, v| [v["ip"], v["ipv6"]] },
  83             :admins => admins["hosts"]
  84 end
  85
  86 template "/etc/logrotate.d/apache2" do
  87   source "logrotate.apache.erb"
  88   owner "root"
  89   group "root"
  90   mode "644"
  91 end
  92
  93 directory "/srv/tile.openstreetmap.org" do
  94   owner "tile"
  95   group "tile"
  96   mode "755"
  97 end
  98
  99 tile_directories = node[:tile][:styles].collect do |_, style|
 100   style[:tile_directories].collect { |directory| directory[:name] }
 101 end.flatten.sort.uniq
 102
 103 package "renderd"
 104
 105 systemd_service "renderd" do
 106   dropin "chef"
 107   after "postgresql.service"
 108   wants "postgresql.service"
 109   limit_nofile 4096
 110   memory_high "80%"
 111   memory_max "90%"
 112   sandbox true
 113   restrict_address_families "AF_UNIX"
 114   read_write_paths tile_directories
 115   restart "on-failure"
 116 end
 117
 118 service "renderd" do
 119   action [:enable, :start]
 120   subscribes :restart, "systemd_service[renderd]"
 121 end
 122
 123 directory "/srv/tile.openstreetmap.org/tiles" do
 124   owner "tile"
 125   group "tile"
 126   mode "755"
 127 end
 128
 129 template "/etc/renderd.conf" do
 130   source "renderd.conf.erb"
 131   owner "root"
 132   group "root"
 133   mode "644"
 134   notifies :reload, "service[apache2]"
 135   notifies :restart, "service[renderd]"
 136 end
 137
 138 remote_directory "/srv/tile.openstreetmap.org/html" do
 139   source "html"
 140   owner "tile"
 141   group "tile"
 142   mode "755"
 143   files_owner "tile"
 144   files_group "tile"
 145   files_mode "644"
 146 end
 147
 148 template "/srv/tile.openstreetmap.org/html/index.html" do
 149   source "index.html.erb"
 150   owner "tile"
 151   group "tile"
 152   mode "644"
 153 end
 154
 155 package %w[
 156   python3-cairo
 157   python3-mapnik
 158   python3-pyproj
 159   python3-setuptools
 160 ]
 161
 162 python_package "pyotp" do
 163   python_version "3"
 164 end
 165
 166 directory "/srv/tile.openstreetmap.org/cgi-bin" do
 167   owner "tile"
 168   group "tile"
 169   mode "755"
 170 end
 171
 172 template "/srv/tile.openstreetmap.org/cgi-bin/export" do
 173   source "export.erb"
 174   owner "tile"
 175   group "tile"
 176   mode "755"
 177   variables :blocks => blocks, :totp_key => web_passwords["totp_key"]
 178 end
 179
 180 template "/srv/tile.openstreetmap.org/cgi-bin/debug" do
 181   source "debug.erb"
 182   owner "tile"
 183   group "tile"
 184   mode "755"
 185 end
 186
 187 systemd_service "export-cleanup" do
 188   description "Cleanup stale export temporary files"
 189   joins_namespace_of "apache2.service"
 190   exec_start "find /tmp -ignore_readdir_race -name 'export??????' -mmin +60 -delete"
 191   user "www-data"
 192   sandbox true
 193 end
 194
 195 systemd_timer "export-cleanup" do
 196   description "Cleanup stale export temporary files"
 197   on_boot_sec "60m"
 198   on_unit_inactive_sec "60m"
 199 end
 200
 201 service "export-cleanup.timer" do
 202   action [:enable, :start]
 203 end
 204
 205 directory "/srv/tile.openstreetmap.org/data" do
 206   owner "tile"
 207   group "tile"
 208   mode "755"
 209 end
 210
 211 package %w[
 212   mapnik-utils
 213   tar
 214   unzip
 215 ]
 216
 217 node[:tile][:data].each_value do |data|
 218   url = data[:url]
 219   file = "/srv/tile.openstreetmap.org/data/#{File.basename(url)}"
 220
 221   if data[:directory]
 222     directory = "/srv/tile.openstreetmap.org/data/#{data[:directory]}"
 223
 224     directory directory do
 225       owner "tile"
 226       group "tile"
 227       mode "755"
 228     end
 229   else
 230     directory = "/srv/tile.openstreetmap.org/data"
 231   end
 232
 233   if file =~ /\.tgz$/
 234     execute file do
 235       action :nothing
 236       command "tar -zxf #{file} -C #{directory}"
 237       user "tile"
 238       group "tile"
 239     end
 240   elsif file =~ /\.tar\.bz2$/
 241     execute file do
 242       action :nothing
 243       command "tar -jxf #{file} -C #{directory}"
 244       user "tile"
 245       group "tile"
 246     end
 247   elsif file =~ /\.zip$/
 248     execute file do
 249       action :nothing
 250       command "unzip -qq -o #{file} -d #{directory}"
 251       user "tile"
 252       group "tile"
 253     end
 254   end
 255
 256   execute "#{file}_shapeindex" do
 257     action :nothing
 258     command "find #{directory} -type f -iname '*.shp' -print0 | xargs -0 --no-run-if-empty shapeindex --shape_files"
 259     user "tile"
 260     group "tile"
 261     subscribes :run, "execute[#{file}]", :immediately
 262   end
 263
 264   remote_file file do
 265     if data[:refresh]
 266       action :create
 267       use_conditional_get true
 268       ignore_failure true
 269     else
 270       action :create_if_missing
 271     end
 272
 273     source url
 274     owner "tile"
 275     group "tile"
 276     mode "644"
 277     backup false
 278     notifies :run, "execute[#{file}]", :immediately
 279     notifies :restart, "service[renderd]"
 280   end
 281 end
 282
 283 nodejs_package "carto"
 284
 285 lowzoom_threads = [node.cpu_cores - 1, node[:memory][:total].to_f / 4194304].min.floor
 286
 287 systemd_service "update-lowzoom@" do
 288   description "Low zoom tile update service for %i layer"
 289   user "tile"
 290   exec_start_pre "+/bin/systemctl stop render-lowzoom.service"
 291   exec_start "/bin/bash /usr/local/bin/update-lowzoom-%i"
 292   runtime_directory "update-lowzoom-%i"
 293   sandbox true
 294   restrict_address_families "AF_UNIX"
 295   read_write_paths [
 296     "/srv/tile.openstreetmap.org/tiles/%i",
 297     "/var/log/tile"
 298   ]
 299   restart "on-failure"
 300 end
 301
 302 directory "/srv/tile.openstreetmap.org/styles" do
 303   owner "tile"
 304   group "tile"
 305   mode "755"
 306 end
 307
 308 node[:tile][:styles].each do |name, details|
 309   style_directory = "/srv/tile.openstreetmap.org/styles/#{name}"
 310   tile_directory = "/srv/tile.openstreetmap.org/tiles/#{name}"
 311
 312   template "/usr/local/bin/update-lowzoom-#{name}" do
 313     source "update-lowzoom.erb"
 314     owner "root"
 315     group "root"
 316     mode "755"
 317     variables :style => name, :threads => lowzoom_threads
 318   end
 319
 320   service "update-lowzoom@#{name}" do
 321     action :disable
 322     supports :restart => true
 323   end
 324
 325   directory tile_directory do
 326     owner "tile"
 327     group "tile"
 328     mode "755"
 329   end
 330
 331   details[:tile_directories].each do |directory|
 332     directory directory[:name] do
 333       owner "_renderd"
 334       group "_renderd"
 335       mode "755"
 336     end
 337
 338     directory[:min_zoom].upto(directory[:max_zoom]) do |zoom|
 339       directory "#{directory[:name]}/#{zoom}" do
 340         owner "_renderd"
 341         group "_renderd"
 342         mode "755"
 343       end
 344
 345       link "#{tile_directory}/#{zoom}" do
 346         to "#{directory[:name]}/#{zoom}"
 347         owner "tile"
 348         group "tile"
 349       end
 350     end
 351   end
 352
 353   file "#{tile_directory}/planet-import-complete" do
 354     action :create_if_missing
 355     owner "tile"
 356     group "tile"
 357     mode "444"
 358   end
 359
 360   git style_directory do
 361     action :sync
 362     repository details[:repository]
 363     revision details[:revision]
 364     user "tile"
 365     group "tile"
 366   end
 367
 368   link "#{style_directory}/data" do
 369     to "/srv/tile.openstreetmap.org/data"
 370     owner "tile"
 371     group "tile"
 372   end
 373
 374   if details[:fonts_script]
 375     execute details[:fonts_script] do
 376       action :nothing
 377       command details[:fonts_script]
 378       cwd style_directory
 379       user "tile"
 380       group "tile"
 381       subscribes :run, "git[#{style_directory}]"
 382     end
 383   end
 384
 385   execute "#{style_directory}/project.mml" do
 386     action :nothing
 387     command "carto -a 3.0.22 project.mml > project.xml"
 388     cwd style_directory
 389     user "tile"
 390     group "tile"
 391     subscribes :run, "git[#{style_directory}]"
 392     notifies :restart, "service[renderd]", :immediately
 393     notifies :restart, "service[update-lowzoom@#{name}]"
 394   end
 395 end
 396
 397 postgresql_version = node[:tile][:database][:cluster].split("/").first
 398 postgis_version = node[:tile][:database][:postgis]
 399
 400 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
 401
 402 postgresql_user "jburgess" do
 403   cluster node[:tile][:database][:cluster]
 404   superuser true
 405 end
 406
 407 postgresql_user "tomh" do
 408   cluster node[:tile][:database][:cluster]
 409   superuser true
 410 end
 411
 412 postgresql_user "pnorman" do
 413   cluster node[:tile][:database][:cluster]
 414   superuser true
 415 end
 416
 417 postgresql_user "tile" do
 418   cluster node[:tile][:database][:cluster]
 419 end
 420
 421 postgresql_user "www-data" do
 422   cluster node[:tile][:database][:cluster]
 423 end
 424
 425 postgresql_user "_renderd" do
 426   cluster node[:tile][:database][:cluster]
 427 end
 428
 429 postgresql_database "gis" do
 430   cluster node[:tile][:database][:cluster]
 431   owner "tile"
 432 end
 433
 434 postgresql_extension "postgis" do
 435   cluster node[:tile][:database][:cluster]
 436   database "gis"
 437 end
 438
 439 postgresql_extension "hstore" do
 440   cluster node[:tile][:database][:cluster]
 441   database "gis"
 442   only_if { node[:tile][:database][:hstore] }
 443 end
 444
 445 %w[geography_columns planet_osm_nodes planet_osm_rels planet_osm_ways raster_columns raster_overviews].each do |table|
 446   postgresql_table table do
 447     cluster node[:tile][:database][:cluster]
 448     database "gis"
 449     owner "tile"
 450     permissions "tile" => :all
 451   end
 452 end
 453
 454 %w[geometry_columns planet_osm_line planet_osm_point planet_osm_polygon planet_osm_roads spatial_ref_sys].each do |table|
 455   postgresql_table table do
 456     cluster node[:tile][:database][:cluster]
 457     database "gis"
 458     owner "tile"
 459     permissions "tile" => :all, "www-data" => :select, "_renderd" => :select
 460   end
 461 end
 462
 463 package %w[
 464   gdal-bin
 465   python3-yaml
 466   python3-psycopg2
 467 ]
 468
 469 if node[:tile][:database][:external_data_script]
 470   execute node[:tile][:database][:external_data_script] do
 471     command "#{node[:tile][:database][:external_data_script]} -R _renderd"
 472     cwd "/srv/tile.openstreetmap.org"
 473     user "tile"
 474     group "tile"
 475     ignore_failure true
 476   end
 477
 478   Array(node[:tile][:database][:external_data_tables]).each do |table|
 479     postgresql_table table do
 480       cluster node[:tile][:database][:cluster]
 481       database "gis"
 482       owner "tile"
 483       permissions "tile" => :all, "www-data" => :select, "_renderd" => :select
 484     end
 485   end
 486 end
 487
 488 postgresql_munin "gis" do
 489   cluster node[:tile][:database][:cluster]
 490   database "gis"
 491 end
 492
 493 directory File.dirname(node[:tile][:database][:node_file]) do
 494   owner "root"
 495   group "root"
 496   mode "755"
 497   recursive true
 498 end
 499
 500 file node[:tile][:database][:node_file] do
 501   owner "tile"
 502   group "_renderd"
 503   mode "660"
 504 end
 505
 506 directory "/var/log/tile" do
 507   owner "tile"
 508   group "tile"
 509   mode "755"
 510 end
 511
 512 package %w[
 513   osm2pgsql
 514   osmium-tool
 515   pyosmium
 516 ]
 517
 518 directory "/var/lib/replicate" do
 519   owner "tile"
 520   group "tile"
 521   mode "755"
 522 end
 523
 524 template "/usr/local/bin/expire-tiles" do
 525   source "expire-tiles.erb"
 526   owner "root"
 527   group "root"
 528   mode "755"
 529 end
 530
 531 directory "/var/lib/replicate/expire-queue" do
 532   owner "tile"
 533   group "_renderd"
 534   mode "775"
 535 end
 536
 537 template "/usr/local/bin/replicate" do
 538   source "replicate.erb"
 539   owner "root"
 540   group "root"
 541   mode "755"
 542 end
 543
 544 systemd_service "expire-tiles" do
 545   description "Tile dirtying service"
 546   type "simple"
 547   user "_renderd"
 548   exec_start "/usr/local/bin/expire-tiles"
 549   nice 10
 550   sandbox true
 551   restrict_address_families "AF_UNIX"
 552   read_write_paths tile_directories + [
 553                      "/var/lib/replicate/expire-queue"
 554                    ]
 555 end
 556
 557 systemd_path "expire-tiles" do
 558   description "Tile dirtying trigger"
 559   directory_not_empty "/var/lib/replicate/expire-queue"
 560 end
 561
 562 service "expire-tiles.path" do
 563   action [:enable, :start]
 564   subscribes :restart, "systemd_path[expire-tiles]"
 565 end
 566
 567 template "/usr/local/bin/replicate-post" do
 568   source "replicate-post.erb"
 569   owner "root"
 570   group "root"
 571   mode "755"
 572 end
 573
 574 osm2pgsql_arguments = %w[
 575     --number-processes=1
 576     --log-progress=false
 577     --expire-tiles=13-19
 578     --expire-output=/var/lib/replicate/dirty-tiles.txt
 579   ]
 580
 581 osm2pgsql_arguments.append("--multi-geometry") if node[:tile][:database][:multi_geometry]
 582 osm2pgsql_arguments.append("--hstore") if node[:tile][:database][:hstore]
 583 osm2pgsql_arguments.append("--tag-transform-script=#{node[:tile][:database][:tag_transform_script]}") if node[:tile][:database][:tag_transform_script]
 584
 585 systemd_service "replicate" do
 586   description "Rendering database replication service"
 587   after "postgresql.service"
 588   wants "postgresql.service"
 589   user "tile"
 590   exec_start "/usr/local/bin/replicate"
 591   sandbox :enable_network => true
 592   restrict_address_families "AF_UNIX"
 593   read_write_paths [
 594     "/store/database/nodes",
 595     "/var/lib/replicate"
 596   ]
 597   restart "on-failure"
 598 end
 599
 600 service "replicate" do
 601   action [:enable, :start]
 602   subscribes :restart, "template[/usr/local/bin/replicate]"
 603   subscribes :restart, "systemd_service[replicate]"
 604 end
 605
 606 template "/usr/local/bin/render-lowzoom" do
 607   source "render-lowzoom.erb"
 608   owner "root"
 609   group "root"
 610   mode "755"
 611   variables :threads => lowzoom_threads
 612 end
 613
 614 systemd_service "render-lowzoom" do
 615   description "Render low zoom tiles"
 616   condition_path_exists_glob "!/run/update-lowzoom-*"
 617   user "tile"
 618   exec_start "/usr/local/bin/render-lowzoom"
 619   sandbox true
 620   restrict_address_families "AF_UNIX"
 621   read_write_paths "/var/log/tile"
 622 end
 623
 624 systemd_timer "render-lowzoom" do
 625   description "Render low zoom tiles"
 626   on_calendar "Fri *-*-* 23:00:00 UTC"
 627 end
 628
 629 service "render-lowzoom.timer" do
 630   action [:enable, :start]
 631 end
 632
 633 package "liblockfile-simple-perl"
 634 package "libfilesys-df-perl"
 635
 636 template "/usr/local/bin/cleanup-tiles" do
 637   source "cleanup-tiles.erb"
 638   owner "root"
 639   group "root"
 640   mode "755"
 641 end
 642
 643 systemd_service "cleanup-tiles@" do
 644   description "Cleanup old tiles for /%I"
 645   exec_start "/usr/local/bin/cleanup-tiles /%I"
 646   user "_renderd"
 647   io_scheduling_class "idle"
 648   sandbox true
 649   read_write_paths "/%I"
 650 end
 651
 652 systemd_timer "cleanup-tiles@" do
 653   description "Cleanup old tiles for /%I"
 654   on_boot_sec "30m"
 655   on_unit_inactive_sec "60m"
 656   randomized_delay_sec "10m"
 657 end
 658
 659 tile_directories.each do |directory|
 660   label = directory[1..].gsub("/", "-")
 661
 662   service "cleanup-tiles@#{label}.timer" do
 663     action [:enable, :start]
 664   end
 665 end
 666
 667 munin_plugin "mod_tile_fresh"
 668 munin_plugin "mod_tile_latency"
 669 munin_plugin "mod_tile_response"
 670 munin_plugin "mod_tile_zoom"
 671
 672 munin_plugin "renderd_processed"
 673 munin_plugin "renderd_queue"
 674 munin_plugin "renderd_queue_time"
 675 munin_plugin "renderd_zoom"
 676 munin_plugin "renderd_zoom_time"
 677
 678 munin_plugin "replication_delay"
 679
 680 package "ruby-webrick"
 681
 682 prometheus_exporter "modtile" do
 683   port 9494
 684 end
 685
 686 prometheus_exporter "renderd" do
 687   port 9393
 688 end