]> git.openstreetmap.org Git - chef.git/blob - cookbooks/vectortile/recipes/default.rb
Merge remote-tracking branch 'github/pull/749'
[chef.git] / cookbooks / vectortile / recipes / default.rb
1 #
2 # Cookbook:: vectortile
3 # Recipe:: default
4 #
5 # Copyright:: 2024, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 include_recipe "accounts"
21 include_recipe "git"
22 include_recipe "nginx"
23 include_recipe "postgresql"
24 include_recipe "prometheus"
25 include_recipe "python"
26 include_recipe "tools"
27
28 directory "/srv/vector.openstreetmap.org" do
29   user "tileupdate"
30   group "tileupdate"
31   mode "755"
32 end
33
34 nginx_site "default" do
35   action [:delete]
36 end
37
38 nginx_site "vector.openstreetmap.org" do
39   template "nginx.erb"
40 end
41
42 ssl_certificate node[:fqdn] do
43   domains [node[:fqdn]]
44   notifies :reload, "service[nginx]"
45 end
46
47 remote_directory "/srv/vector.openstreetmap.org/html" do
48   source "html"
49   owner "www-data"
50   group "www-data"
51   mode "755"
52   files_owner "www-data"
53   files_group "www-data"
54   files_mode "644"
55 end
56
57 template "/srv/vector.openstreetmap.org/html/index.html" do
58   source "index.html.erb"
59   owner "www-data"
60   group "www-data"
61   mode "644"
62 end
63
64 postgresql_version = node[:vectortile][:database][:cluster].split("/").first
65 postgis_version = node[:vectortile][:database][:postgis]
66
67 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
68
69 # Spirit dependencies
70 package %w[
71   osm2pgsql
72   gdal-bin
73   python3-yaml
74   python3-psycopg2
75 ]
76
77 style_directory = "/srv/vector.openstreetmap.org/spirit"
78 git style_directory do
79   repository "https://github.com/pnorman/spirit.git"
80   user "tileupdate"
81   group "tileupdate"
82 end
83
84 shortbread_config = "#{style_directory}/shortbread.yaml"
85
86 themepark_directory = "/srv/vector.openstreetmap.org/osm2pgsql-themepark"
87 git themepark_directory do
88   repository "https://github.com/osm2pgsql-dev/osm2pgsql-themepark.git"
89   revision "444bfbda82dea2899e77ac7f0e88ddf7f62c3b45"
90   user "tileupdate"
91   group "tileupdate"
92 end
93
94 tilekiln_directory = "/opt/tilekiln"
95
96 python_virtualenv tilekiln_directory do
97   interpreter "/usr/bin/python3"
98 end
99
100 python_package "tilekiln" do
101   python_virtualenv tilekiln_directory
102   python_version "3"
103   version node[:vectortile][:tilekiln][:version]
104 end
105
106 template "/srv/vector.openstreetmap.org/html/index.html" do
107   source "index.html.erb"
108   owner "www-data"
109   group "www-data"
110   mode "644"
111 end
112
113 directory "/srv/vector.openstreetmap.org/data" do
114   user "tileupdate"
115   group "tileupdate"
116   mode "755"
117 end
118
119 node_store_options = node[:vectortile][:database][:nodes_store] == :flat ? "--flat-nodes '/srv/vector.openstreetmap.org/data/nodes.bin'" : ""
120 template "/usr/local/bin/import-planet" do
121   source "import-planet.erb"
122   owner "root"
123   group "root"
124   mode "755"
125   variables :node_store_options => "#{node_store_options}"
126 end
127
128 template "/usr/local/bin/tilekiln-storage-init" do
129   source "tilekiln-storage-init.erb"
130   owner "root"
131   group "root"
132   mode "755"
133   variables :tilekiln_bin => "#{tilekiln_directory}/bin/tilekiln", :storage_database => "tiles", :config_path => "#{shortbread_config}"
134 end
135
136 postgresql_user "tomh" do
137   cluster node[:vectortile][:database][:cluster]
138   superuser true
139 end
140
141 postgresql_user "pnorman" do
142   cluster node[:vectortile][:database][:cluster]
143   superuser true
144 end
145
146 postgresql_user "tilekiln" do
147   cluster node[:vectortile][:database][:cluster]
148 end
149
150 postgresql_user "tileupdate" do
151   cluster node[:vectortile][:database][:cluster]
152 end
153
154 postgresql_database "tiles" do
155   cluster node[:vectortile][:database][:cluster]
156   owner "tileupdate"
157 end
158
159 postgresql_database "spirit" do
160   cluster node[:vectortile][:database][:cluster]
161   owner "tileupdate"
162 end
163
164 postgresql_extension "postgis" do
165   cluster node[:vectortile][:database][:cluster]
166   database "spirit"
167 end
168
169 postgresql_schema "tilekiln" do
170   cluster node[:vectortile][:database][:cluster]
171   database "tiles"
172   owner "tileupdate"
173   permissions "tileupdate" => :all, "tilekiln" => :usage
174   notifies :run, "execute[tilekiln-storage-init]", :immediately
175 end
176
177 execute "tilekiln-storage-init" do
178   action :nothing
179   command "/usr/local/bin/tilekiln-storage-init"
180   user "tileupdate"
181 end
182
183 %w[metadata shortbread_v1].each do |table|
184   postgresql_table table do
185     cluster node[:vectortile][:database][:cluster]
186     database "tiles"
187     schema "tilekiln"
188     owner "tileupdate"
189     permissions "tileupdate" => :all, "tilekiln" => :select
190   end
191 end
192
193 postgresql_table "tile_stats" do
194   cluster node[:vectortile][:database][:cluster]
195   database "tiles"
196   schema "tilekiln"
197   owner "tilekiln"
198 end
199
200 (0..14).each do |zoom|
201   postgresql_table "shortbread_v1_z#{zoom}" do
202     cluster node[:vectortile][:database][:cluster]
203     database "tiles"
204     schema "tilekiln"
205     owner "tileupdate"
206     permissions "tileupdate" => :all, "tilekiln" => node[:vectortile][:serve][:mode] == :live ? [:select, :insert, :update] : :select
207   end
208 end
209
210 %w[addresses aerialways aeroways boundaries boundary_labels bridges buildings
211 dam_lines dam_polygons ferries land pier_lines pier_polygons place_labels
212 planet_osm_nodes planet_osm_rels planet_osm_ways pois public_transport railways
213 road_routes roads sites street_polygons streets_labels_points
214 streets_polygons_labels water_area_labels water_areas water_lines water_lines_labels].each do |table|
215   postgresql_table table do
216     cluster node[:vectortile][:database][:cluster]
217     database "spirit"
218     schema "public"
219     owner "tileupdate"
220     permissions "tileupdate" => :all, "tilekiln" => :select
221   end
222 end
223
224 tilekiln_mode = node[:vectortile][:serve][:mode] == :live ? "live --config #{shortbread_config} --source-dbname spirit" : "static"
225
226 systemd_service "tilekiln" do
227   description "Tilekiln vector tile server"
228   user "tilekiln"
229   after "postgresql.service"
230   wants "postgresql.service"
231   sandbox :enable_network => true
232   restrict_address_families "AF_UNIX"
233   exec_start "#{tilekiln_directory}/bin/tilekiln serve #{tilekiln_mode} --storage-dbname tiles --num-threads #{node[:vectortile][:serve][:threads]} --base-url 'https://vector.openstreetmap.org'"
234 end
235
236 service "tilekiln" do
237   action [:enable, :start]
238 end
239
240 execute "/srv/vector.openstreetmap.org/spirit/scripts/get-external-data.py" do
241   command "/srv/vector.openstreetmap.org/spirit/scripts/get-external-data.py -R tilekiln"
242   cwd "/srv/vector.openstreetmap.org/spirit"
243   user "tileupdate"
244   group "tileupdate"
245   ignore_failure true
246 end
247
248 template "/usr/local/bin/vector-update" do
249   source node[:vectortile][:replication][:tileupdate] ? "vector-update-tile.erb" : "vector-update-notile.erb"
250   owner "root"
251   group "root"
252   mode "755"
253   variables :tilekiln_bin => "#{tilekiln_directory}/bin/tilekiln", :source_database => "spirit", :config_path => "#{shortbread_config}", :diff_size => "1000", :expiry_dir => "/srv/vector.openstreetmap.org/data/", :post_processing => "/usr/local/bin/tiles-rerender"
254 end
255
256 rerender_layers = %w[addresses boundaries bridges buildings land pois public_transport sites street_polygons streets water_lines_labels water_lines water_polygons].join(" ")
257
258 template "/usr/local/bin/tiles-rerender" do
259   source "tiles-rerender.erb"
260   owner "root"
261   group "root"
262   mode "755"
263   variables :tilekiln_bin => "#{tilekiln_directory}/bin/tilekiln", :source_database => "spirit", :storage_database => "tiles", :config_path => "#{shortbread_config}", :expiry_dir => "/srv/vector.openstreetmap.org/data/", :update_threads => 4, :layers => "#{rerender_layers}"
264 end
265
266 systemd_service "replicate" do
267   description "Get replication updates"
268   user "tileupdate"
269   after "postgresql.service"
270   wants "postgresql.service"
271   sandbox :enable_network => true
272   restrict_address_families "AF_UNIX"
273   read_write_paths ["/srv/vector.openstreetmap.org/data/"]
274   exec_start "/usr/local/bin/vector-update"
275 end
276
277 systemd_timer "replicate" do
278   description "Get replication updates"
279   on_boot_sec 60
280   on_unit_active_sec 30
281   accuracy_sec 5
282 end
283
284 if node[:vectortile][:replication][:enabled]
285   service "replicate.timer" do
286     action [:enable, :start]
287   end
288 else
289   service "replicate.timer" do
290     action [:stop, :disable]
291   end
292 end
293
294 package %w[
295   ruby-pg
296   ruby-webrick
297 ]
298
299 prometheus_exporter "osm2pgsql" do
300   port 10027
301   user "tileupdate"
302   restrict_address_families "AF_UNIX"
303   options [
304     "--database-name=spirit"
305   ]
306 end
307
308 systemd_service "tilekiln-prometheus" do
309   description "Tilekiln vector tile server"
310   user "tilekiln"
311   after "postgresql.service"
312   wants "postgresql.service"
313   sandbox :enable_network => true
314   restrict_address_families "AF_UNIX"
315   exec_start "#{tilekiln_directory}/bin/tilekiln prometheus --bind-host #{node[:prometheus][:address]} --storage-dbname tiles"
316 end
317
318 service "tilekiln-prometheus" do
319   action [:enable, :start]
320 end
321
322 node.default[:prometheus][:exporters][10013] = {
323   :name => "tilekiln",
324   :address => "#{node[:prometheus][:address]}:10013",
325 }