cookbooks/tile/recipes/default.rb

   1 #
   2 # Cookbook:: tile
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2013, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "apache"
  22 include_recipe "git"
  23 include_recipe "munin"
  24 include_recipe "nodejs"
  25 include_recipe "postgresql"
  26 include_recipe "prometheus"
  27 include_recipe "python"
  28 include_recipe "ruby"
  29 include_recipe "tools"
  30
  31 blocks = data_bag_item("tile", "blocks")
  32 web_passwords = data_bag_item("web", "passwords")
  33
  34 apache_module "alias"
  35 apache_module "cgi"
  36 apache_module "expires"
  37 apache_module "headers"
  38 apache_module "remoteip"
  39 apache_module "rewrite"
  40
  41 apache_module "tile" do
  42   conf "tile.conf.erb"
  43 end
  44
  45 apache_conf "renderd" do
  46   action :disable
  47 end
  48
  49 ssl_certificate node[:fqdn] do
  50   domains [node[:fqdn], "tile.openstreetmap.org", "render.openstreetmap.org"]
  51   notifies :reload, "service[apache2]"
  52 end
  53
  54 remote_file "#{Chef::Config[:file_cache_path]}/fastly-ip-list.json" do
  55   source "https://api.fastly.com/public-ip-list"
  56   compile_time true
  57   ignore_failure true
  58 end
  59
  60 fastlyips = JSON.parse(IO.read("#{Chef::Config[:file_cache_path]}/fastly-ip-list.json"))
  61
  62 apache_site "default" do
  63   action :disable
  64 end
  65
  66 apache_site "tileserver_site" do
  67   action :disable
  68 end
  69
  70 apache_site "tile.openstreetmap.org" do
  71   template "apache.erb"
  72   variables :fastly => fastlyips["addresses"]
  73 end
  74
  75 template "/etc/logrotate.d/apache2" do
  76   source "logrotate.apache.erb"
  77   owner "root"
  78   group "root"
  79   mode "644"
  80 end
  81
  82 directory "/srv/tile.openstreetmap.org" do
  83   owner "tile"
  84   group "tile"
  85   mode "755"
  86 end
  87
  88 directory "/srv/tile.openstreetmap.org/conf" do
  89   owner "tile"
  90   group "tile"
  91   mode "755"
  92 end
  93
  94 file "/srv/tile.openstreetmap.org/conf/ip.map" do
  95   owner "tile"
  96   group "adm"
  97   mode "644"
  98 end
  99
 100 tile_directories = node[:tile][:styles].collect do |_, style|
 101   style[:tile_directories].collect { |directory| directory[:name] }
 102 end.flatten.sort.uniq
 103
 104 package "renderd"
 105
 106 systemd_service "renderd" do
 107   dropin "chef"
 108   after "postgresql.service"
 109   wants "postgresql.service"
 110   limit_nofile 4096
 111   sandbox true
 112   restrict_address_families "AF_UNIX"
 113   read_write_paths tile_directories
 114   restart "on-failure"
 115 end
 116
 117 systemd_service "renderd" do
 118   action :delete
 119 end
 120
 121 service "renderd" do
 122   action [:enable, :start]
 123   subscribes :restart, "systemd_service[renderd]"
 124 end
 125
 126 directory "/srv/tile.openstreetmap.org/tiles" do
 127   owner "tile"
 128   group "tile"
 129   mode "755"
 130 end
 131
 132 template "/etc/renderd.conf" do
 133   source "renderd.conf.erb"
 134   owner "root"
 135   group "root"
 136   mode "644"
 137   notifies :reload, "service[apache2]"
 138   notifies :restart, "service[renderd]"
 139 end
 140
 141 remote_directory "/srv/tile.openstreetmap.org/html" do
 142   source "html"
 143   owner "tile"
 144   group "tile"
 145   mode "755"
 146   files_owner "tile"
 147   files_group "tile"
 148   files_mode "644"
 149 end
 150
 151 template "/srv/tile.openstreetmap.org/html/index.html" do
 152   source "index.html.erb"
 153   owner "tile"
 154   group "tile"
 155   mode "644"
 156 end
 157
 158 package %w[
 159   python3-cairo
 160   python3-mapnik
 161   python3-pyproj
 162   python3-setuptools
 163 ]
 164
 165 python_package "pyotp" do
 166   python_version "3"
 167 end
 168
 169 directory "/srv/tile.openstreetmap.org/cgi-bin" do
 170   owner "tile"
 171   group "tile"
 172   mode "755"
 173 end
 174
 175 template "/srv/tile.openstreetmap.org/cgi-bin/export" do
 176   source "export.erb"
 177   owner "tile"
 178   group "tile"
 179   mode "755"
 180   variables :blocks => blocks, :totp_key => web_passwords["totp_key"]
 181 end
 182
 183 template "/srv/tile.openstreetmap.org/cgi-bin/debug" do
 184   source "debug.erb"
 185   owner "tile"
 186   group "tile"
 187   mode "755"
 188 end
 189
 190 template "/etc/cron.hourly/export" do
 191   source "export.cron.erb"
 192   owner "root"
 193   group "root"
 194   mode "755"
 195 end
 196
 197 directory "/srv/tile.openstreetmap.org/data" do
 198   owner "tile"
 199   group "tile"
 200   mode "755"
 201 end
 202
 203 package %w[
 204   mapnik-utils
 205   tar
 206   unzip
 207 ]
 208
 209 node[:tile][:data].each_value do |data|
 210   url = data[:url]
 211   file = "/srv/tile.openstreetmap.org/data/#{File.basename(url)}"
 212
 213   if data[:directory]
 214     directory = "/srv/tile.openstreetmap.org/data/#{data[:directory]}"
 215
 216     directory directory do
 217       owner "tile"
 218       group "tile"
 219       mode "755"
 220     end
 221   else
 222     directory = "/srv/tile.openstreetmap.org/data"
 223   end
 224
 225   if file =~ /\.tgz$/
 226     execute file do
 227       action :nothing
 228       command "tar -zxf #{file} -C #{directory}"
 229       user "tile"
 230       group "tile"
 231     end
 232   elsif file =~ /\.tar\.bz2$/
 233     execute file do
 234       action :nothing
 235       command "tar -jxf #{file} -C #{directory}"
 236       user "tile"
 237       group "tile"
 238     end
 239   elsif file =~ /\.zip$/
 240     execute file do
 241       action :nothing
 242       command "unzip -qq -o #{file} -d #{directory}"
 243       user "tile"
 244       group "tile"
 245     end
 246   end
 247
 248   execute "#{file}_shapeindex" do
 249     action :nothing
 250     command "find #{directory} -type f -iname '*.shp' -print0 | xargs -0 --no-run-if-empty shapeindex --shape_files"
 251     user "tile"
 252     group "tile"
 253     subscribes :run, "execute[#{file}]", :immediately
 254   end
 255
 256   remote_file file do
 257     if data[:refresh]
 258       action :create
 259       use_conditional_get true
 260       ignore_failure true
 261     else
 262       action :create_if_missing
 263     end
 264
 265     source url
 266     owner "tile"
 267     group "tile"
 268     mode "644"
 269     backup false
 270     notifies :run, "execute[#{file}]", :immediately
 271     notifies :restart, "service[renderd]"
 272   end
 273 end
 274
 275 nodejs_package "carto"
 276
 277 systemd_service "update-lowzoom@" do
 278   description "Low zoom tile update service for %i layer"
 279   user "tile"
 280   exec_start_pre "+/bin/systemctl stop render-lowzoom.service"
 281   exec_start "/bin/bash /usr/local/bin/update-lowzoom-%i"
 282   runtime_directory "update-lowzoom-%i"
 283   sandbox true
 284   restrict_address_families "AF_UNIX"
 285   read_write_paths [
 286     "/srv/tile.openstreetmap.org/tiles/%i",
 287     "/var/log/tile"
 288   ]
 289   restart "on-failure"
 290 end
 291
 292 directory "/srv/tile.openstreetmap.org/styles" do
 293   owner "tile"
 294   group "tile"
 295   mode "755"
 296 end
 297
 298 node[:tile][:styles].each do |name, details|
 299   style_directory = "/srv/tile.openstreetmap.org/styles/#{name}"
 300   tile_directory = "/srv/tile.openstreetmap.org/tiles/#{name}"
 301
 302   template "/usr/local/bin/update-lowzoom-#{name}" do
 303     source "update-lowzoom.erb"
 304     owner "root"
 305     group "root"
 306     mode "755"
 307     variables :style => name
 308   end
 309
 310   service "update-lowzoom@#{name}" do
 311     action :disable
 312     supports :restart => true
 313   end
 314
 315   directory tile_directory do
 316     owner "tile"
 317     group "tile"
 318     mode "755"
 319   end
 320
 321   details[:tile_directories].each do |directory|
 322     directory directory[:name] do
 323       owner "_renderd"
 324       group "_renderd"
 325       mode "755"
 326     end
 327
 328     directory[:min_zoom].upto(directory[:max_zoom]) do |zoom|
 329       directory "#{directory[:name]}/#{zoom}" do
 330         owner "_renderd"
 331         group "_renderd"
 332         mode "755"
 333       end
 334
 335       link "#{tile_directory}/#{zoom}" do
 336         to "#{directory[:name]}/#{zoom}"
 337         owner "tile"
 338         group "tile"
 339       end
 340     end
 341   end
 342
 343   file "#{tile_directory}/planet-import-complete" do
 344     action :create_if_missing
 345     owner "tile"
 346     group "tile"
 347     mode "444"
 348   end
 349
 350   git style_directory do
 351     action :sync
 352     repository details[:repository]
 353     revision details[:revision]
 354     user "tile"
 355     group "tile"
 356   end
 357
 358   link "#{style_directory}/data" do
 359     to "/srv/tile.openstreetmap.org/data"
 360     owner "tile"
 361     group "tile"
 362   end
 363
 364   if details[:fonts_script]
 365     execute details[:fonts_script] do
 366       action :nothing
 367       command details[:fonts_script]
 368       cwd style_directory
 369       user "tile"
 370       group "tile"
 371       subscribes :run, "git[#{style_directory}]"
 372     end
 373   end
 374
 375   execute "#{style_directory}/project.mml" do
 376     action :nothing
 377     command "carto -a 3.0.22 project.mml > project.xml"
 378     cwd style_directory
 379     user "tile"
 380     group "tile"
 381     subscribes :run, "git[#{style_directory}]"
 382     notifies :restart, "service[renderd]", :immediately
 383     notifies :restart, "service[update-lowzoom@#{name}]"
 384   end
 385 end
 386
 387 postgresql_version = node[:tile][:database][:cluster].split("/").first
 388 postgis_version = node[:tile][:database][:postgis]
 389
 390 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
 391
 392 postgresql_user "jburgess" do
 393   cluster node[:tile][:database][:cluster]
 394   superuser true
 395 end
 396
 397 postgresql_user "tomh" do
 398   cluster node[:tile][:database][:cluster]
 399   superuser true
 400 end
 401
 402 postgresql_user "pnorman" do
 403   cluster node[:tile][:database][:cluster]
 404   superuser true
 405 end
 406
 407 postgresql_user "tile" do
 408   cluster node[:tile][:database][:cluster]
 409 end
 410
 411 postgresql_user "www-data" do
 412   cluster node[:tile][:database][:cluster]
 413 end
 414
 415 postgresql_user "_renderd" do
 416   cluster node[:tile][:database][:cluster]
 417 end
 418
 419 postgresql_database "gis" do
 420   cluster node[:tile][:database][:cluster]
 421   owner "tile"
 422 end
 423
 424 postgresql_extension "postgis" do
 425   cluster node[:tile][:database][:cluster]
 426   database "gis"
 427 end
 428
 429 postgresql_extension "hstore" do
 430   cluster node[:tile][:database][:cluster]
 431   database "gis"
 432   only_if { node[:tile][:database][:hstore] }
 433 end
 434
 435 %w[geography_columns planet_osm_nodes planet_osm_rels planet_osm_ways raster_columns raster_overviews spatial_ref_sys].each do |table|
 436   postgresql_table table do
 437     cluster node[:tile][:database][:cluster]
 438     database "gis"
 439     owner "tile"
 440     permissions "tile" => :all
 441   end
 442 end
 443
 444 %w[geometry_columns planet_osm_line planet_osm_point planet_osm_polygon planet_osm_roads].each do |table|
 445   postgresql_table table do
 446     cluster node[:tile][:database][:cluster]
 447     database "gis"
 448     owner "tile"
 449     permissions "tile" => :all, "www-data" => :select, "_renderd" => :select
 450   end
 451 end
 452
 453 package %w[
 454   gdal-bin
 455   python3-yaml
 456   python3-psycopg2
 457 ]
 458
 459 if node[:tile][:database][:external_data_script]
 460   execute node[:tile][:database][:external_data_script] do
 461     command "#{node[:tile][:database][:external_data_script]} -R _renderd"
 462     cwd "/srv/tile.openstreetmap.org"
 463     user "tile"
 464     group "tile"
 465     ignore_failure true
 466   end
 467
 468   Array(node[:tile][:database][:external_data_tables]).each do |table|
 469     postgresql_table table do
 470       cluster node[:tile][:database][:cluster]
 471       database "gis"
 472       owner "tile"
 473       permissions "tile" => :all, "www-data" => :select, "_renderd" => :select
 474     end
 475   end
 476 end
 477
 478 postgresql_munin "gis" do
 479   cluster node[:tile][:database][:cluster]
 480   database "gis"
 481 end
 482
 483 directory File.dirname(node[:tile][:database][:node_file]) do
 484   owner "root"
 485   group "root"
 486   mode "755"
 487   recursive true
 488 end
 489
 490 file node[:tile][:database][:node_file] do
 491   owner "tile"
 492   group "_renderd"
 493   mode "660"
 494 end
 495
 496 directory "/var/log/tile" do
 497   owner "tile"
 498   group "tile"
 499   mode "755"
 500 end
 501
 502 package %w[
 503   osm2pgsql
 504   osmium-tool
 505   pyosmium
 506   python3-pyproj
 507 ]
 508
 509 gem_package "apachelogregex" do
 510   gem_binary node[:ruby][:gem]
 511 end
 512
 513 gem_package "file-tail" do
 514   gem_binary node[:ruby][:gem]
 515 end
 516
 517 gem_package "lru_redux" do
 518   gem_binary node[:ruby][:gem]
 519 end
 520
 521 remote_directory "/usr/local/bin" do
 522   source "bin"
 523   owner "root"
 524   group "root"
 525   mode "755"
 526   files_owner "root"
 527   files_group "root"
 528   files_mode "755"
 529 end
 530
 531 template "/usr/local/bin/tile-ratelimit" do
 532   source "tile-ratelimit.erb"
 533   owner "root"
 534   group "root"
 535   mode "755"
 536 end
 537
 538 systemd_service "tile-ratelimit" do
 539   description "Monitor tile requests and enforce rate limits"
 540   after "apache2.service"
 541   user "tile"
 542   group "adm"
 543   exec_start "/usr/local/bin/tile-ratelimit"
 544   nice 10
 545   sandbox true
 546   read_write_paths "/srv/tile.openstreetmap.org/conf"
 547   restart "on-failure"
 548 end
 549
 550 service "tile-ratelimit" do
 551   action [:enable, :start]
 552   subscribes :restart, "file[/usr/local/bin/tile-ratelimit]"
 553   subscribes :restart, "systemd_service[tile-ratelimit]"
 554 end
 555
 556 template "/usr/local/bin/expire-tiles" do
 557   source "expire-tiles.erb"
 558   owner "root"
 559   group "root"
 560   mode "755"
 561 end
 562
 563 directory "/var/lib/replicate" do
 564   owner "tile"
 565   group "tile"
 566   mode "755"
 567 end
 568
 569 directory "/var/lib/replicate/expire-queue" do
 570   owner "tile"
 571   group "_renderd"
 572   mode "775"
 573 end
 574
 575 template "/usr/local/bin/replicate" do
 576   source "replicate.erb"
 577   owner "root"
 578   group "root"
 579   mode "755"
 580   variables :postgresql_version => postgresql_version.to_f
 581 end
 582
 583 systemd_service "expire-tiles" do
 584   description "Tile dirtying service"
 585   type "simple"
 586   user "_renderd"
 587   exec_start "/usr/local/bin/expire-tiles"
 588   nice 10
 589   standard_output "null"
 590   sandbox true
 591   read_write_paths tile_directories + [
 592     "/store/database/nodes",
 593     "/var/lib/replicate/expire-queue",
 594     "/var/log/tile"
 595   ]
 596 end
 597
 598 systemd_path "expire-tiles" do
 599   description "Tile dirtying trigger"
 600   directory_not_empty "/var/lib/replicate/expire-queue"
 601 end
 602
 603 service "expire-tiles.path" do
 604   action [:enable, :start]
 605   subscribes :restart, "systemd_path[expire-tiles]"
 606 end
 607
 608 systemd_service "replicate" do
 609   description "Rendering database replication service"
 610   after "postgresql.service"
 611   wants "postgresql.service"
 612   user "tile"
 613   exec_start "/usr/local/bin/replicate"
 614   sandbox :enable_network => true
 615   restrict_address_families "AF_UNIX"
 616   read_write_paths [
 617     "/store/database/nodes",
 618     "/var/lib/replicate",
 619     "/var/log/tile"
 620   ]
 621   restart "on-failure"
 622 end
 623
 624 service "replicate" do
 625   action [:enable, :start]
 626   subscribes :restart, "template[/usr/local/bin/replicate]"
 627   subscribes :restart, "systemd_service[replicate]"
 628 end
 629
 630 template "/etc/logrotate.d/replicate" do
 631   source "replicate.logrotate.erb"
 632   owner "root"
 633   group "root"
 634   mode "644"
 635 end
 636
 637 template "/usr/local/bin/render-lowzoom" do
 638   source "render-lowzoom.erb"
 639   owner "root"
 640   group "root"
 641   mode "755"
 642 end
 643
 644 systemd_service "render-lowzoom" do
 645   description "Render low zoom tiles"
 646   condition_path_exists_glob "!/run/update-lowzoom-*"
 647   user "tile"
 648   exec_start "/usr/local/bin/render-lowzoom"
 649   sandbox true
 650   restrict_address_families "AF_UNIX"
 651   read_write_paths "/var/log/tile"
 652 end
 653
 654 systemd_timer "render-lowzoom" do
 655   description "Render low zoom tiles"
 656   on_calendar "Fri *-*-* 23:00:00 UTC"
 657 end
 658
 659 service "render-lowzoom.timer" do
 660   action [:enable, :start]
 661 end
 662
 663 package "liblockfile-simple-perl"
 664 package "libfilesys-df-perl"
 665
 666 template "/usr/local/bin/cleanup-tiles" do
 667   source "cleanup-tiles.erb"
 668   owner "root"
 669   group "root"
 670   mode "755"
 671 end
 672
 673 systemd_service "cleanup-tiles@" do
 674   description "Cleanup old tiles for /%I"
 675   exec_start "/usr/local/bin/cleanup-tiles /%I"
 676   user "_renderd"
 677   io_scheduling_class "idle"
 678   sandbox true
 679   read_write_paths "/%I"
 680 end
 681
 682 systemd_timer "cleanup-tiles@" do
 683   description "Cleanup old tiles for /%I"
 684   on_boot_sec "30m"
 685   on_unit_inactive_sec "60m"
 686   randomized_delay_sec "10m"
 687 end
 688
 689 tile_directories.each do |directory|
 690   label = directory[1..].gsub("/", "-")
 691
 692   service "cleanup-tiles@#{label}.timer" do
 693     action [:enable, :start]
 694   end
 695 end
 696
 697 munin_plugin "mod_tile_fresh"
 698 munin_plugin "mod_tile_latency"
 699 munin_plugin "mod_tile_response"
 700 munin_plugin "mod_tile_zoom"
 701
 702 munin_plugin "renderd_processed"
 703 munin_plugin "renderd_queue"
 704 munin_plugin "renderd_queue_time"
 705 munin_plugin "renderd_zoom"
 706 munin_plugin "renderd_zoom_time"
 707
 708 munin_plugin "replication_delay"
 709
 710 package "ruby-webrick"
 711
 712 prometheus_exporter "modtile" do
 713   port 9494
 714 end
 715
 716 prometheus_exporter "renderd" do
 717   port 9393
 718 end