cookbooks/tile/recipes/default.rb

   1 #
   2 # Cookbook:: tile
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2013, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "apache"
  22 include_recipe "git"
  23 include_recipe "munin"
  24 include_recipe "nodejs"
  25 include_recipe "postgresql"
  26 include_recipe "prometheus"
  27 include_recipe "python"
  28 include_recipe "ruby"
  29 include_recipe "tools"
  30
  31 blocks = data_bag_item("tile", "blocks")
  32 admins = data_bag_item("apache", "admins")
  33 web_passwords = data_bag_item("web", "passwords")
  34
  35 apache_module "alias"
  36 apache_module "cgi"
  37 apache_module "expires"
  38 apache_module "headers"
  39 apache_module "remoteip"
  40 apache_module "rewrite"
  41
  42 apache_module "tile" do
  43   conf "tile.conf.erb"
  44 end
  45
  46 apache_conf "renderd" do
  47   action :disable
  48 end
  49
  50 ssl_certificate node[:fqdn] do
  51   domains [node[:fqdn], "tile.openstreetmap.org", "render.openstreetmap.org"]
  52   notifies :reload, "service[apache2]"
  53 end
  54
  55 remote_file "#{Chef::Config[:file_cache_path]}/fastly-ip-list.json" do
  56   source "https://api.fastly.com/public-ip-list"
  57   compile_time true
  58   ignore_failure true
  59 end
  60
  61 fastlyips = JSON.parse(IO.read("#{Chef::Config[:file_cache_path]}/fastly-ip-list.json"))
  62
  63 remote_file "#{Chef::Config[:file_cache_path]}/statuscake-locations.json" do
  64   source "https://app.statuscake.com/Workfloor/Locations.php?format=json"
  65   compile_time true
  66   ignore_failure true
  67 end
  68
  69 statuscakelocations = JSON.parse(IO.read("#{Chef::Config[:file_cache_path]}/statuscake-locations.json"))
  70
  71 apache_site "default" do
  72   action :disable
  73 end
  74
  75 apache_site "tileserver_site" do
  76   action :disable
  77 end
  78
  79 apache_site "tile.openstreetmap.org" do
  80   template "apache.erb"
  81   variables :fastly => fastlyips["addresses"] + fastlyips["ipv6_addresses"],
  82             :statuscake => statuscakelocations.flat_map { |_, v| [v["ip"], v["ipv6"]] },
  83             :admins => admins["hosts"]
  84 end
  85
  86 template "/etc/logrotate.d/apache2" do
  87   source "logrotate.apache.erb"
  88   owner "root"
  89   group "root"
  90   mode "644"
  91 end
  92
  93 directory "/srv/tile.openstreetmap.org" do
  94   owner "tile"
  95   group "tile"
  96   mode "755"
  97 end
  98
  99 directory "/srv/tile.openstreetmap.org/conf" do
 100   owner "tile"
 101   group "tile"
 102   mode "755"
 103 end
 104
 105 file "/srv/tile.openstreetmap.org/conf/ip.map" do
 106   owner "tile"
 107   group "adm"
 108   mode "644"
 109 end
 110
 111 package "renderd"
 112
 113 systemd_service "renderd" do
 114   dropin "chef"
 115   after "postgresql.service"
 116   wants "postgresql.service"
 117   limit_nofile 4096
 118   private_tmp true
 119   private_devices true
 120   private_network true
 121   protect_system "full"
 122   protect_home true
 123   no_new_privileges true
 124   restart "on-failure"
 125 end
 126
 127 systemd_service "renderd" do
 128   action :delete
 129 end
 130
 131 service "renderd" do
 132   action [:enable, :start]
 133   subscribes :restart, "systemd_service[renderd]"
 134 end
 135
 136 directory "/srv/tile.openstreetmap.org/tiles" do
 137   owner "tile"
 138   group "tile"
 139   mode "755"
 140 end
 141
 142 template "/etc/renderd.conf" do
 143   source "renderd.conf.erb"
 144   owner "root"
 145   group "root"
 146   mode "644"
 147   notifies :reload, "service[apache2]"
 148   notifies :restart, "service[renderd]"
 149 end
 150
 151 remote_directory "/srv/tile.openstreetmap.org/html" do
 152   source "html"
 153   owner "tile"
 154   group "tile"
 155   mode "755"
 156   files_owner "tile"
 157   files_group "tile"
 158   files_mode "644"
 159 end
 160
 161 template "/srv/tile.openstreetmap.org/html/index.html" do
 162   source "index.html.erb"
 163   owner "tile"
 164   group "tile"
 165   mode "644"
 166 end
 167
 168 package %w[
 169   python3-cairo
 170   python3-mapnik
 171   python3-pyproj
 172   python3-setuptools
 173 ]
 174
 175 python_package "pyotp" do
 176   python_version "3"
 177 end
 178
 179 unifont = if node[:lsb][:release].to_f < 22.04
 180             "ttf-unifont"
 181           else
 182             "fonts-unifont"
 183           end
 184
 185 package %W[
 186   fonts-noto-cjk
 187   fonts-noto-hinted
 188   fonts-noto-unhinted
 189   fonts-hanazono
 190   #{unifont}
 191 ]
 192
 193 ["NotoSansArabicUI-Regular.ttf", "NotoSansArabicUI-Bold.ttf"].each do |font|
 194   remote_file "/usr/share/fonts/truetype/noto/#{font}" do
 195     action :create_if_missing
 196     source "https://github.com/googlei18n/noto-fonts/raw/master/hinted/#{font}"
 197     owner "root"
 198     group "root"
 199     mode "644"
 200   end
 201 end
 202
 203 directory "/srv/tile.openstreetmap.org/cgi-bin" do
 204   owner "tile"
 205   group "tile"
 206   mode "755"
 207 end
 208
 209 template "/srv/tile.openstreetmap.org/cgi-bin/export" do
 210   source "export.erb"
 211   owner "tile"
 212   group "tile"
 213   mode "755"
 214   variables :blocks => blocks, :totp_key => web_passwords["totp_key"]
 215 end
 216
 217 template "/srv/tile.openstreetmap.org/cgi-bin/debug" do
 218   source "debug.erb"
 219   owner "tile"
 220   group "tile"
 221   mode "755"
 222 end
 223
 224 template "/etc/cron.hourly/export" do
 225   source "export.cron.erb"
 226   owner "root"
 227   group "root"
 228   mode "755"
 229 end
 230
 231 directory "/srv/tile.openstreetmap.org/data" do
 232   owner "tile"
 233   group "tile"
 234   mode "755"
 235 end
 236
 237 package "mapnik-utils"
 238
 239 node[:tile][:data].each_value do |data|
 240   url = data[:url]
 241   file = "/srv/tile.openstreetmap.org/data/#{File.basename(url)}"
 242
 243   if data[:directory]
 244     directory = "/srv/tile.openstreetmap.org/data/#{data[:directory]}"
 245
 246     directory directory do
 247       owner "tile"
 248       group "tile"
 249       mode "755"
 250     end
 251   else
 252     directory = "/srv/tile.openstreetmap.org/data"
 253   end
 254
 255   if file =~ /\.tgz$/
 256     package "tar"
 257
 258     execute file do
 259       action :nothing
 260       command "tar -zxf #{file} -C #{directory}"
 261       user "tile"
 262       group "tile"
 263     end
 264   elsif file =~ /\.tar\.bz2$/
 265     package "tar"
 266
 267     execute file do
 268       action :nothing
 269       command "tar -jxf #{file} -C #{directory}"
 270       user "tile"
 271       group "tile"
 272     end
 273   elsif file =~ /\.zip$/
 274     package "unzip"
 275
 276     execute file do
 277       action :nothing
 278       command "unzip -qq -o #{file} -d #{directory}"
 279       user "tile"
 280       group "tile"
 281     end
 282   end
 283
 284   execute "#{file}_shapeindex" do
 285     action :nothing
 286     command "find #{directory} -type f -iname '*.shp' -print0 | xargs -0 --no-run-if-empty shapeindex --shape_files"
 287     user "tile"
 288     group "tile"
 289     subscribes :run, "execute[#{file}]", :immediately
 290   end
 291
 292   remote_file file do
 293     if data[:refresh]
 294       action :create
 295       use_conditional_get true
 296       ignore_failure true
 297     else
 298       action :create_if_missing
 299     end
 300
 301     source url
 302     owner "tile"
 303     group "tile"
 304     mode "644"
 305     backup false
 306     notifies :run, "execute[#{file}]", :immediately
 307     notifies :restart, "service[renderd]"
 308   end
 309 end
 310
 311 nodejs_package "carto"
 312
 313 systemd_service "update-lowzoom@" do
 314   description "Low zoom tile update service for %i layer"
 315   conflicts "render-lowzoom.service"
 316   user "tile"
 317   exec_start "/bin/bash /usr/local/bin/update-lowzoom-%i"
 318   runtime_directory "update-lowzoom-%i"
 319   private_tmp true
 320   private_devices true
 321   private_network true
 322   protect_system "full"
 323   protect_home true
 324   no_new_privileges true
 325   restart "on-failure"
 326 end
 327
 328 directory "/srv/tile.openstreetmap.org/styles" do
 329   owner "tile"
 330   group "tile"
 331   mode "755"
 332 end
 333
 334 node[:tile][:styles].each do |name, details|
 335   style_directory = "/srv/tile.openstreetmap.org/styles/#{name}"
 336   tile_directory = "/srv/tile.openstreetmap.org/tiles/#{name}"
 337
 338   template "/usr/local/bin/update-lowzoom-#{name}" do
 339     source "update-lowzoom.erb"
 340     owner "root"
 341     group "root"
 342     mode "755"
 343     variables :style => name
 344   end
 345
 346   service "update-lowzoom@#{name}" do
 347     action :disable
 348     supports :restart => true
 349   end
 350
 351   directory tile_directory do
 352     owner "tile"
 353     group "tile"
 354     mode "755"
 355   end
 356
 357   details[:tile_directories].each do |directory|
 358     directory directory[:name] do
 359       owner "_renderd"
 360       group "_renderd"
 361       mode "755"
 362     end
 363
 364     directory[:min_zoom].upto(directory[:max_zoom]) do |zoom|
 365       directory "#{directory[:name]}/#{zoom}" do
 366         owner "_renderd"
 367         group "_renderd"
 368         mode "755"
 369       end
 370
 371       link "#{tile_directory}/#{zoom}" do
 372         to "#{directory[:name]}/#{zoom}"
 373         owner "tile"
 374         group "tile"
 375       end
 376     end
 377   end
 378
 379   file "#{tile_directory}/planet-import-complete" do
 380     action :create_if_missing
 381     owner "tile"
 382     group "tile"
 383     mode "444"
 384   end
 385
 386   git style_directory do
 387     action :sync
 388     repository details[:repository]
 389     revision details[:revision]
 390     user "tile"
 391     group "tile"
 392   end
 393
 394   link "#{style_directory}/data" do
 395     to "/srv/tile.openstreetmap.org/data"
 396     owner "tile"
 397     group "tile"
 398   end
 399
 400   execute "#{style_directory}/project.mml" do
 401     action :nothing
 402     command "carto -a 3.0.0 project.mml > project.xml"
 403     cwd style_directory
 404     user "tile"
 405     group "tile"
 406     subscribes :run, "git[#{style_directory}]"
 407     notifies :restart, "service[renderd]", :immediately
 408     notifies :restart, "service[update-lowzoom@#{name}]"
 409   end
 410 end
 411
 412 postgresql_version = node[:tile][:database][:cluster].split("/").first
 413 postgis_version = node[:tile][:database][:postgis]
 414
 415 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
 416
 417 postgresql_user "jburgess" do
 418   cluster node[:tile][:database][:cluster]
 419   superuser true
 420 end
 421
 422 postgresql_user "tomh" do
 423   cluster node[:tile][:database][:cluster]
 424   superuser true
 425 end
 426
 427 postgresql_user "tile" do
 428   cluster node[:tile][:database][:cluster]
 429 end
 430
 431 postgresql_user "www-data" do
 432   cluster node[:tile][:database][:cluster]
 433 end
 434
 435 postgresql_user "_renderd" do
 436   cluster node[:tile][:database][:cluster]
 437 end
 438
 439 postgresql_database "gis" do
 440   cluster node[:tile][:database][:cluster]
 441   owner "tile"
 442 end
 443
 444 postgresql_extension "postgis" do
 445   cluster node[:tile][:database][:cluster]
 446   database "gis"
 447 end
 448
 449 postgresql_extension "hstore" do
 450   cluster node[:tile][:database][:cluster]
 451   database "gis"
 452   only_if { node[:tile][:database][:hstore] }
 453 end
 454
 455 %w[geography_columns planet_osm_nodes planet_osm_rels planet_osm_ways raster_columns raster_overviews spatial_ref_sys].each do |table|
 456   postgresql_table table do
 457     cluster node[:tile][:database][:cluster]
 458     database "gis"
 459     owner "tile"
 460     permissions "tile" => :all
 461   end
 462 end
 463
 464 %w[geometry_columns planet_osm_line planet_osm_point planet_osm_polygon planet_osm_roads].each do |table|
 465   postgresql_table table do
 466     cluster node[:tile][:database][:cluster]
 467     database "gis"
 468     owner "tile"
 469     permissions "tile" => :all, "www-data" => :select, "_renderd" => :select
 470   end
 471 end
 472
 473 package %w[
 474   gdal-bin
 475   python3-yaml
 476   python3-psycopg2
 477 ]
 478
 479 if node[:tile][:database][:external_data_script]
 480   execute node[:tile][:database][:external_data_script] do
 481     command "#{node[:tile][:database][:external_data_script]} -R _renderd"
 482     cwd "/srv/tile.openstreetmap.org"
 483     user "tile"
 484     group "tile"
 485     ignore_failure true
 486   end
 487
 488   Array(node[:tile][:database][:external_data_tables]).each do |table|
 489     postgresql_table table do
 490       cluster node[:tile][:database][:cluster]
 491       database "gis"
 492       owner "tile"
 493       permissions "tile" => :all, "www-data" => :select, "_renderd" => :select
 494     end
 495   end
 496 end
 497
 498 postgresql_munin "gis" do
 499   cluster node[:tile][:database][:cluster]
 500   database "gis"
 501 end
 502
 503 directory File.dirname(node[:tile][:database][:node_file]) do
 504   owner "root"
 505   group "root"
 506   mode "755"
 507   recursive true
 508 end
 509
 510 file node[:tile][:database][:node_file] do
 511   owner "tile"
 512   group "_renderd"
 513   mode "660"
 514 end
 515
 516 directory "/var/log/tile" do
 517   owner "tile"
 518   group "tile"
 519   mode "755"
 520 end
 521
 522 package %w[
 523   osm2pgsql
 524   osmium-tool
 525   pyosmium
 526   python3-pyproj
 527 ]
 528
 529 gem_package "apachelogregex" do
 530   gem_binary node[:ruby][:gem]
 531 end
 532
 533 gem_package "file-tail" do
 534   gem_binary node[:ruby][:gem]
 535 end
 536
 537 gem_package "lru_redux" do
 538   gem_binary node[:ruby][:gem]
 539 end
 540
 541 remote_directory "/usr/local/bin" do
 542   source "bin"
 543   owner "root"
 544   group "root"
 545   mode "755"
 546   files_owner "root"
 547   files_group "root"
 548   files_mode "755"
 549 end
 550
 551 template "/usr/local/bin/tile-ratelimit" do
 552   source "tile-ratelimit.erb"
 553   owner "root"
 554   group "root"
 555   mode "755"
 556 end
 557
 558 systemd_service "tile-ratelimit" do
 559   description "Monitor tile requests and enforce rate limits"
 560   after "apache2.service"
 561   user "tile"
 562   group "adm"
 563   exec_start "/usr/local/bin/tile-ratelimit"
 564   private_tmp true
 565   private_devices true
 566   private_network true
 567   protect_system "full"
 568   protect_home true
 569   read_write_paths "/srv/tile.openstreetmap.org/conf"
 570   no_new_privileges true
 571   restart "on-failure"
 572 end
 573
 574 service "tile-ratelimit" do
 575   action [:enable, :start]
 576   subscribes :restart, "file[/usr/local/bin/tile-ratelimit]"
 577   subscribes :restart, "systemd_service[tile-ratelimit]"
 578 end
 579
 580 template "/usr/local/bin/expire-tiles" do
 581   source "expire-tiles.erb"
 582   owner "root"
 583   group "root"
 584   mode "755"
 585 end
 586
 587 directory "/var/lib/replicate" do
 588   owner "tile"
 589   group "tile"
 590   mode "755"
 591 end
 592
 593 directory "/var/lib/replicate/expire-queue" do
 594   owner "tile"
 595   group "_renderd"
 596   mode "775"
 597 end
 598
 599 template "/usr/local/bin/replicate" do
 600   source "replicate.erb"
 601   owner "root"
 602   group "root"
 603   mode "755"
 604   variables :postgresql_version => postgresql_version.to_f
 605 end
 606
 607 systemd_service "expire-tiles" do
 608   description "Tile dirtying service"
 609   type "simple"
 610   user "_renderd"
 611   exec_start "/usr/local/bin/expire-tiles"
 612   standard_output "null"
 613   private_tmp true
 614   private_devices true
 615   protect_system "full"
 616   protect_home true
 617   no_new_privileges true
 618 end
 619
 620 systemd_path "expire-tiles" do
 621   description "Tile dirtying trigger"
 622   directory_not_empty "/var/lib/replicate/expire-queue"
 623 end
 624
 625 service "expire-tiles.path" do
 626   action [:enable, :start]
 627   subscribes :restart, "systemd_path[expire-tiles]"
 628 end
 629
 630 systemd_service "replicate" do
 631   description "Rendering database replication service"
 632   after "postgresql.service"
 633   wants "postgresql.service"
 634   user "tile"
 635   exec_start "/usr/local/bin/replicate"
 636   private_tmp true
 637   private_devices true
 638   protect_system "full"
 639   protect_home true
 640   no_new_privileges true
 641   restart "on-failure"
 642 end
 643
 644 service "replicate" do
 645   action [:enable, :start]
 646   subscribes :restart, "template[/usr/local/bin/replicate]"
 647   subscribes :restart, "systemd_service[replicate]"
 648 end
 649
 650 template "/etc/logrotate.d/replicate" do
 651   source "replicate.logrotate.erb"
 652   owner "root"
 653   group "root"
 654   mode "644"
 655 end
 656
 657 template "/usr/local/bin/render-lowzoom" do
 658   source "render-lowzoom.erb"
 659   owner "root"
 660   group "root"
 661   mode "755"
 662 end
 663
 664 systemd_service "render-lowzoom" do
 665   description "Render low zoom tiles"
 666   condition_path_exists_glob "!/run/update-lowzoom-*"
 667   user "tile"
 668   exec_start "/usr/local/bin/render-lowzoom"
 669   private_tmp true
 670   private_devices true
 671   private_network true
 672   protect_system "full"
 673   protect_home true
 674   no_new_privileges true
 675 end
 676
 677 systemd_timer "render-lowzoom" do
 678   description "Render low zoom tiles"
 679   on_calendar "Fri *-*-* 23:00:00 UTC"
 680 end
 681
 682 service "render-lowzoom.timer" do
 683   action [:enable, :start]
 684 end
 685
 686 package "liblockfile-simple-perl"
 687 package "libfilesys-df-perl"
 688
 689 template "/usr/local/bin/cleanup-tiles" do
 690   source "cleanup-tiles.erb"
 691   owner "root"
 692   group "root"
 693   mode "755"
 694 end
 695
 696 tile_directories = node[:tile][:styles].collect do |_, style|
 697   style[:tile_directories].collect { |directory| directory[:name] }
 698 end.flatten.sort.uniq
 699
 700 tile_directories.each do |directory|
 701   label = directory.gsub("/", "-")
 702
 703   cron_d "cleanup-tiles#{label}" do
 704     minute "0"
 705     user "_renderd"
 706     command "ionice -c 3 /usr/local/bin/cleanup-tiles #{directory}"
 707     mailto "admins@openstreetmap.org"
 708   end
 709 end
 710
 711 munin_plugin "mod_tile_fresh"
 712 munin_plugin "mod_tile_latency"
 713 munin_plugin "mod_tile_response"
 714 munin_plugin "mod_tile_zoom"
 715
 716 munin_plugin "renderd_processed"
 717 munin_plugin "renderd_queue"
 718 munin_plugin "renderd_queue_time"
 719 munin_plugin "renderd_zoom"
 720 munin_plugin "renderd_zoom_time"
 721
 722 munin_plugin "replication_delay"
 723
 724 package "ruby-webrick"
 725
 726 prometheus_exporter "modtile" do
 727   port 9494
 728 end
 729
 730 prometheus_exporter "renderd" do
 731   port 9393
 732 end