]> git.openstreetmap.org Git - chef.git/blob - cookbooks/tile/recipes/default.rb
Add support for installing functions to a rendering database
[chef.git] / cookbooks / tile / recipes / default.rb
1 #
2 # Cookbook:: tile
3 # Recipe:: default
4 #
5 # Copyright:: 2013, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "accounts"
21 include_recipe "apache"
22 include_recipe "git"
23 include_recipe "nodejs"
24 include_recipe "postgresql"
25 include_recipe "prometheus"
26 include_recipe "python"
27 include_recipe "ruby"
28 include_recipe "tools"
29
30 blocks = data_bag_item("tile", "blocks")
31 admins = data_bag_item("apache", "admins")
32 web_passwords = data_bag_item("web", "passwords")
33
34 apache_module "alias"
35 apache_module "cgi"
36 apache_module "expires"
37 apache_module "headers"
38 apache_module "remoteip"
39 apache_module "rewrite"
40
41 apache_module "tile" do
42   conf "tile.conf.erb"
43 end
44
45 apache_conf "renderd" do
46   action :disable
47 end
48
49 ssl_certificate node[:fqdn] do
50   domains [node[:fqdn], "tile.openstreetmap.org", "render.openstreetmap.org"]
51   notifies :reload, "service[apache2]"
52 end
53
54 remote_file "#{Chef::Config[:file_cache_path]}/fastly-ip-list.json" do
55   source "https://api.fastly.com/public-ip-list"
56   compile_time true
57   ignore_failure true
58 end
59
60 fastlyips = JSON.parse(IO.read("#{Chef::Config[:file_cache_path]}/fastly-ip-list.json"))
61
62 remote_file "#{Chef::Config[:file_cache_path]}/statuscake-locations.json" do
63   source "https://app.statuscake.com/Workfloor/Locations.php?format=json"
64   compile_time true
65   ignore_failure true
66 end
67
68 statuscakelocations = JSON.parse(IO.read("#{Chef::Config[:file_cache_path]}/statuscake-locations.json"))
69
70 apache_site "default" do
71   action :disable
72 end
73
74 apache_site "tileserver_site" do
75   action :disable
76 end
77
78 apache_site "tile.openstreetmap.org" do
79   template "apache.erb"
80   variables :fastly => fastlyips["addresses"] + fastlyips["ipv6_addresses"],
81             :statuscake => statuscakelocations.flat_map { |_, v| [v["ip"], v["ipv6"]] },
82             :admins => admins["hosts"]
83 end
84
85 template "/etc/logrotate.d/apache2" do
86   source "logrotate.apache.erb"
87   owner "root"
88   group "root"
89   mode "644"
90 end
91
92 directory "/srv/tile.openstreetmap.org" do
93   owner "tile"
94   group "tile"
95   mode "755"
96 end
97
98 tile_directories = node[:tile][:styles].collect do |_, style|
99   style[:tile_directories].collect { |directory| directory[:name] }
100 end.flatten.sort.uniq
101
102 package %w[
103   renderd
104   libgoogle-perftools4
105 ]
106
107 systemd_service "renderd" do
108   dropin "chef"
109   after "postgresql.service"
110   wants "postgresql.service"
111   environment "LD_PRELOAD" => "libtcmalloc.so.4"
112   limit_nofile 4096
113   memory_high "80%"
114   memory_max "90%"
115   sandbox true
116   restrict_address_families "AF_UNIX"
117   read_write_paths tile_directories
118   system_call_filter ["@system-service", "mincore"]
119   restart "on-failure"
120 end
121
122 service "renderd" do
123   action [:enable, :start]
124   subscribes :restart, "systemd_service[renderd]"
125 end
126
127 directory "/srv/tile.openstreetmap.org/tiles" do
128   owner "tile"
129   group "tile"
130   mode "755"
131 end
132
133 template "/etc/renderd.conf" do
134   source "renderd.conf.erb"
135   owner "root"
136   group "root"
137   mode "644"
138   notifies :reload, "service[apache2]"
139   notifies :restart, "service[renderd]"
140 end
141
142 remote_directory "/srv/tile.openstreetmap.org/html" do
143   source "html"
144   owner "tile"
145   group "tile"
146   mode "755"
147   files_owner "tile"
148   files_group "tile"
149   files_mode "644"
150 end
151
152 template "/srv/tile.openstreetmap.org/html/index.html" do
153   source "index.html.erb"
154   owner "tile"
155   group "tile"
156   mode "644"
157 end
158
159 package %w[
160   python3-cairo
161   python3-mapnik
162   python3-pyotp
163   python3-pyproj
164   python3-setuptools
165 ]
166
167 directory "/srv/tile.openstreetmap.org/cgi-bin" do
168   owner "tile"
169   group "tile"
170   mode "755"
171 end
172
173 template "/srv/tile.openstreetmap.org/cgi-bin/export" do
174   source "export.erb"
175   owner "tile"
176   group "tile"
177   mode "755"
178   variables :blocks => blocks, :totp_key => web_passwords["totp_key"]
179 end
180
181 template "/srv/tile.openstreetmap.org/cgi-bin/debug" do
182   source "debug.erb"
183   owner "tile"
184   group "tile"
185   mode "755"
186 end
187
188 systemd_service "export-cleanup" do
189   description "Cleanup stale export temporary files"
190   joins_namespace_of "apache2.service"
191   exec_start "find /tmp -ignore_readdir_race -name 'export??????' -mmin +60 -delete"
192   user "www-data"
193   sandbox true
194 end
195
196 systemd_timer "export-cleanup" do
197   description "Cleanup stale export temporary files"
198   on_boot_sec "60m"
199   on_unit_inactive_sec "60m"
200 end
201
202 service "export-cleanup.timer" do
203   action [:enable, :start]
204 end
205
206 directory "/srv/tile.openstreetmap.org/data" do
207   owner "tile"
208   group "tile"
209   mode "755"
210 end
211
212 package %w[
213   mapnik-utils
214   tar
215   unzip
216 ]
217
218 node[:tile][:data].each_value do |data|
219   url = data[:url]
220   file = "/srv/tile.openstreetmap.org/data/#{File.basename(url)}"
221
222   if data[:directory]
223     directory = "/srv/tile.openstreetmap.org/data/#{data[:directory]}"
224
225     directory directory do
226       owner "tile"
227       group "tile"
228       mode "755"
229     end
230   else
231     directory = "/srv/tile.openstreetmap.org/data"
232   end
233
234   if file =~ /\.tgz$/
235     execute file do
236       action :nothing
237       command "tar -zxf #{file} -C #{directory}"
238       user "tile"
239       group "tile"
240     end
241   elsif file =~ /\.tar\.bz2$/
242     execute file do
243       action :nothing
244       command "tar -jxf #{file} -C #{directory}"
245       user "tile"
246       group "tile"
247     end
248   elsif file =~ /\.zip$/
249     execute file do
250       action :nothing
251       command "unzip -qq -o #{file} -d #{directory}"
252       user "tile"
253       group "tile"
254     end
255   end
256
257   execute "#{file}_shapeindex" do
258     action :nothing
259     command "find #{directory} -type f -iname '*.shp' -print0 | xargs -0 --no-run-if-empty shapeindex --shape_files"
260     user "tile"
261     group "tile"
262     subscribes :run, "execute[#{file}]", :immediately
263   end
264
265   remote_file file do
266     if data[:refresh]
267       action :create
268       use_conditional_get true
269       ignore_failure true
270     else
271       action :create_if_missing
272     end
273
274     source url
275     owner "tile"
276     group "tile"
277     mode "644"
278     backup false
279     notifies :run, "execute[#{file}]", :immediately
280     notifies :restart, "service[renderd]"
281   end
282 end
283
284 nodejs_package "carto"
285
286 lowzoom_threads = node.cpu_cores - 1
287
288 systemd_service "update-lowzoom@" do
289   description "Low zoom tile update service for %i layer"
290   user "tile"
291   exec_start_pre "+/bin/systemctl stop render-lowzoom.service"
292   exec_start "/bin/bash /usr/local/bin/update-lowzoom-%i"
293   runtime_directory "update-lowzoom-%i"
294   sandbox true
295   restrict_address_families "AF_UNIX"
296   read_write_paths [
297     "/srv/tile.openstreetmap.org/tiles/%i",
298     "/var/log/tile"
299   ]
300   restart "on-failure"
301 end
302
303 postgresql_version = node[:tile][:database][:cluster].split("/").first
304 postgis_version = node[:tile][:database][:postgis]
305
306 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
307
308 postgresql_user "jburgess" do
309   cluster node[:tile][:database][:cluster]
310   superuser true
311 end
312
313 postgresql_user "tomh" do
314   cluster node[:tile][:database][:cluster]
315   superuser true
316 end
317
318 postgresql_user "pnorman" do
319   cluster node[:tile][:database][:cluster]
320   superuser true
321 end
322
323 postgresql_user "tile" do
324   cluster node[:tile][:database][:cluster]
325 end
326
327 postgresql_user "www-data" do
328   cluster node[:tile][:database][:cluster]
329 end
330
331 postgresql_user "_renderd" do
332   cluster node[:tile][:database][:cluster]
333 end
334
335 postgresql_database "gis" do
336   cluster node[:tile][:database][:cluster]
337   owner "tile"
338 end
339
340 postgresql_extension "postgis" do
341   cluster node[:tile][:database][:cluster]
342   database "gis"
343 end
344
345 postgresql_extension "hstore" do
346   cluster node[:tile][:database][:cluster]
347   database "gis"
348   only_if { node[:tile][:database][:hstore] }
349 end
350
351 %w[geography_columns planet_osm_nodes planet_osm_rels planet_osm_ways raster_columns raster_overviews].each do |table|
352   postgresql_table table do
353     cluster node[:tile][:database][:cluster]
354     database "gis"
355     owner "tile"
356     permissions "tile" => :all
357   end
358 end
359
360 %w[geometry_columns planet_osm_line planet_osm_point planet_osm_polygon planet_osm_roads spatial_ref_sys].each do |table|
361   postgresql_table table do
362     cluster node[:tile][:database][:cluster]
363     database "gis"
364     owner "tile"
365     permissions "tile" => :all, "www-data" => :select, "_renderd" => :select
366   end
367 end
368
369 directory "/srv/tile.openstreetmap.org/styles" do
370   owner "tile"
371   group "tile"
372   mode "755"
373 end
374
375 node[:tile][:styles].each do |name, details|
376   style_directory = "/srv/tile.openstreetmap.org/styles/#{name}"
377   tile_directory = "/srv/tile.openstreetmap.org/tiles/#{name}"
378
379   template "/usr/local/bin/update-lowzoom-#{name}" do
380     source "update-lowzoom.erb"
381     owner "root"
382     group "root"
383     mode "755"
384     variables :style => name, :threads => lowzoom_threads
385   end
386
387   service "update-lowzoom@#{name}" do
388     action :disable
389     supports :restart => true
390   end
391
392   directory tile_directory do
393     owner "tile"
394     group "tile"
395     mode "755"
396   end
397
398   details[:tile_directories].each do |directory|
399     directory directory[:name] do
400       owner "_renderd"
401       group "_renderd"
402       mode "755"
403     end
404
405     directory[:min_zoom].upto(directory[:max_zoom]) do |zoom|
406       directory "#{directory[:name]}/#{zoom}" do
407         owner "_renderd"
408         group "_renderd"
409         mode "755"
410       end
411
412       link "#{tile_directory}/#{zoom}" do
413         to "#{directory[:name]}/#{zoom}"
414         owner "tile"
415         group "tile"
416       end
417     end
418   end
419
420   file "#{tile_directory}/planet-import-complete" do
421     action :create_if_missing
422     owner "tile"
423     group "tile"
424     mode "444"
425   end
426
427   git style_directory do
428     action :sync
429     repository details[:repository]
430     revision details[:revision]
431     user "tile"
432     group "tile"
433   end
434
435   link "#{style_directory}/data" do
436     to "/srv/tile.openstreetmap.org/data"
437     owner "tile"
438     group "tile"
439   end
440
441   if details[:fonts_script]
442     execute details[:fonts_script] do
443       action :nothing
444       command details[:fonts_script]
445       cwd style_directory
446       user "tile"
447       group "tile"
448       subscribes :run, "git[#{style_directory}]"
449     end
450   end
451
452   if details[:functions_script]
453     postgresql_execute details[:functions_script] do
454       action :nothing
455       command details[:functions_script]
456       cluster node[:tile][:database][:cluster]
457       database "gis"
458       user "tile"
459       group "tile"
460       subscribes :run, "git[#{style_directory}]"
461     end
462   end
463
464   execute "#{style_directory}/project.mml" do
465     action :nothing
466     command "carto -a 3.0.22 project.mml > project.xml"
467     cwd style_directory
468     user "tile"
469     group "tile"
470     subscribes :run, "git[#{style_directory}]"
471     notifies :restart, "service[renderd]", :immediately
472     notifies :restart, "service[update-lowzoom@#{name}]"
473   end
474 end
475
476 package %w[
477   gdal-bin
478   python3-yaml
479   python3-psycopg2
480 ]
481
482 if node[:tile][:database][:external_data_script]
483   execute node[:tile][:database][:external_data_script] do
484     command "#{node[:tile][:database][:external_data_script]} -R _renderd"
485     cwd "/srv/tile.openstreetmap.org"
486     user "tile"
487     group "tile"
488     ignore_failure true
489   end
490
491   Array(node[:tile][:database][:external_data_tables]).each do |table|
492     postgresql_table table do
493       cluster node[:tile][:database][:cluster]
494       database "gis"
495       owner "tile"
496       permissions "tile" => :all, "www-data" => :select, "_renderd" => :select
497     end
498   end
499 end
500
501 directory File.dirname(node[:tile][:database][:node_file]) do
502   owner "root"
503   group "root"
504   mode "755"
505   recursive true
506 end
507
508 file node[:tile][:database][:node_file] do
509   owner "tile"
510   group "_renderd"
511   mode "660"
512 end
513
514 directory "/var/log/tile" do
515   owner "tile"
516   group "tile"
517   mode "755"
518 end
519
520 package %w[
521   osm2pgsql
522   osmium-tool
523   pyosmium
524 ]
525
526 directory node[:tile][:replication][:directory] do
527   owner "tile"
528   group "tile"
529   mode "755"
530 end
531
532 link "/var/lib/replicate" do
533   to node[:tile][:replication][:directory]
534   owner "tile"
535   group "tile"
536   not_if { node[:tile][:replication][:directory] == "/var/lib/replicate" }
537 end
538
539 template "/usr/local/bin/expire-tiles" do
540   source "expire-tiles.erb"
541   owner "root"
542   group "root"
543   mode "755"
544 end
545
546 directory "/var/lib/replicate/expire-queue" do
547   owner "tile"
548   group "_renderd"
549   mode "775"
550 end
551
552 template "/usr/local/bin/replicate" do
553   source "replicate.erb"
554   owner "root"
555   group "root"
556   mode "755"
557 end
558
559 systemd_service "expire-tiles" do
560   description "Tile dirtying service"
561   type "simple"
562   user "_renderd"
563   exec_start "/usr/local/bin/expire-tiles"
564   nice 10
565   sandbox true
566   restrict_address_families "AF_UNIX"
567   read_write_paths tile_directories + [
568                      "/var/lib/replicate/expire-queue"
569                    ]
570 end
571
572 systemd_path "expire-tiles" do
573   description "Tile dirtying trigger"
574   directory_not_empty "/var/lib/replicate/expire-queue"
575 end
576
577 service "expire-tiles.path" do
578   action [:enable, :start]
579   subscribes :restart, "systemd_path[expire-tiles]"
580 end
581
582 template "/usr/local/bin/replicate-post" do
583   source "replicate-post.erb"
584   owner "root"
585   group "root"
586   mode "755"
587 end
588
589 systemd_service "replicate" do
590   description "Rendering database replication service"
591   after "postgresql.service"
592   wants "postgresql.service"
593   user "tile"
594   exec_start "/usr/local/bin/replicate"
595   sandbox :enable_network => true
596   restrict_address_families "AF_UNIX"
597   read_write_paths [
598     "/store/database/nodes",
599     "/var/lib/replicate"
600   ]
601   restart "on-failure"
602 end
603
604 service "replicate" do
605   action [:enable, :start]
606   subscribes :restart, "template[/usr/local/bin/replicate]"
607   subscribes :restart, "systemd_service[replicate]"
608 end
609
610 template "/usr/local/bin/render-lowzoom" do
611   source "render-lowzoom.erb"
612   owner "root"
613   group "root"
614   mode "755"
615   variables :threads => lowzoom_threads
616 end
617
618 systemd_service "render-lowzoom" do
619   description "Render low zoom tiles"
620   condition_path_exists_glob "!/run/update-lowzoom-*"
621   user "tile"
622   exec_start "/usr/local/bin/render-lowzoom"
623   sandbox true
624   restrict_address_families "AF_UNIX"
625   read_write_paths "/var/log/tile"
626 end
627
628 systemd_timer "render-lowzoom" do
629   description "Render low zoom tiles"
630   on_calendar "23:00 #{node[:timezone]}"
631 end
632
633 service "render-lowzoom.timer" do
634   action [:enable, :start]
635 end
636
637 package "liblockfile-simple-perl"
638 package "libfilesys-df-perl"
639
640 template "/usr/local/bin/cleanup-tiles" do
641   source "cleanup-tiles.erb"
642   owner "root"
643   group "root"
644   mode "755"
645 end
646
647 systemd_service "cleanup-tiles@" do
648   description "Cleanup old tiles for /%I"
649   exec_start "/usr/local/bin/cleanup-tiles /%I"
650   user "_renderd"
651   io_scheduling_class "idle"
652   sandbox true
653   read_write_paths "/%I"
654 end
655
656 systemd_timer "cleanup-tiles@" do
657   description "Cleanup old tiles for /%I"
658   on_boot_sec "30m"
659   on_unit_inactive_sec "60m"
660   randomized_delay_sec "10m"
661 end
662
663 tile_directories.each do |directory|
664   label = directory[1..].gsub("/", "-")
665
666   service "cleanup-tiles@#{label}.timer" do
667     action [:enable, :start]
668   end
669 end
670
671 package "ruby-webrick"
672
673 prometheus_exporter "modtile" do
674   port 9494
675 end
676
677 prometheus_exporter "renderd" do
678   port 9393
679 end