cookbooks/vectortile/recipes/default.rb

   1 #
   2 # Cookbook:: vectortile
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2024, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "git"
  22 include_recipe "nginx"
  23 include_recipe "postgresql"
  24 include_recipe "prometheus"
  25 include_recipe "python"
  26 include_recipe "tools"
  27
  28 directory "/srv/vector.openstreetmap.org" do
  29   user "tileupdate"
  30   group "tileupdate"
  31   mode "755"
  32 end
  33
  34 nginx_site "default" do
  35   action [:delete]
  36 end
  37
  38 nginx_site "vector.openstreetmap.org" do
  39   template "nginx.erb"
  40 end
  41
  42 ssl_certificate node[:fqdn] do
  43   domains [node[:fqdn]]
  44   notifies :reload, "service[nginx]"
  45 end
  46
  47 remote_directory "/srv/vector.openstreetmap.org/html" do
  48   source "html"
  49   owner "www-data"
  50   group "www-data"
  51   mode "755"
  52   files_owner "www-data"
  53   files_group "www-data"
  54   files_mode "644"
  55 end
  56
  57 template "/srv/vector.openstreetmap.org/html/index.html" do
  58   source "index.html.erb"
  59   owner "www-data"
  60   group "www-data"
  61   mode "644"
  62 end
  63
  64 postgresql_version = node[:vectortile][:database][:cluster].split("/").first
  65 postgis_version = node[:vectortile][:database][:postgis]
  66
  67 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
  68
  69 # Spirit dependencies
  70 package %w[
  71   osm2pgsql
  72   gdal-bin
  73   python3-yaml
  74   python3-psycopg2
  75 ]
  76
  77 style_directory = "/srv/vector.openstreetmap.org/spirit"
  78 git style_directory do
  79   repository "https://github.com/pnorman/spirit.git"
  80   user "tileupdate"
  81   group "tileupdate"
  82 end
  83
  84 shortbread_config = "#{style_directory}/shortbread.yaml"
  85
  86 themepark_directory = "/srv/vector.openstreetmap.org/osm2pgsql-themepark"
  87 git themepark_directory do
  88   repository "https://github.com/osm2pgsql-dev/osm2pgsql-themepark.git"
  89   revision "7efc00db433fa7d2c49db00c32ffd27d8ced35f4"
  90   user "tileupdate"
  91   group "tileupdate"
  92 end
  93
  94 tilekiln_directory = "/opt/tilekiln"
  95
  96 python_virtualenv tilekiln_directory do
  97   interpreter "/usr/bin/python3"
  98 end
  99
 100 python_package "tilekiln" do
 101   python_virtualenv tilekiln_directory
 102   python_version "3"
 103   version "0.6.5"
 104 end
 105
 106 template "/srv/vector.openstreetmap.org/html/index.html" do
 107   source "index.html.erb"
 108   owner "www-data"
 109   group "www-data"
 110   mode "644"
 111 end
 112
 113 directory "/srv/vector.openstreetmap.org/data" do
 114   user "tileupdate"
 115   group "tileupdate"
 116   mode "755"
 117 end
 118
 119 node_store_options = node[:vectortile][:database][:nodes_store] == :flat ? "--flat-nodes '/srv/vector.openstreetmap.org/data/nodes.bin'" : ""
 120 template "/usr/local/bin/import-planet" do
 121   source "import-planet.erb"
 122   owner "root"
 123   group "root"
 124   mode "755"
 125   variables :node_store_options => "#{node_store_options}"
 126 end
 127
 128 template "/usr/local/bin/tilekiln-storage-init" do
 129   source "tilekiln-storage-init.erb"
 130   owner "root"
 131   group "root"
 132   mode "755"
 133   variables :tilekiln_bin => "#{tilekiln_directory}/bin/tilekiln", :storage_database => "tiles", :config_path => "#{shortbread_config}"
 134 end
 135
 136 postgresql_user "tomh" do
 137   cluster node[:vectortile][:database][:cluster]
 138   superuser true
 139 end
 140
 141 postgresql_user "pnorman" do
 142   cluster node[:vectortile][:database][:cluster]
 143   superuser true
 144 end
 145
 146 postgresql_user "tilekiln" do
 147   cluster node[:vectortile][:database][:cluster]
 148 end
 149
 150 postgresql_user "tileupdate" do
 151   cluster node[:vectortile][:database][:cluster]
 152 end
 153
 154 postgresql_database "tiles" do
 155   cluster node[:vectortile][:database][:cluster]
 156   owner "tileupdate"
 157 end
 158
 159 postgresql_database "spirit" do
 160   cluster node[:vectortile][:database][:cluster]
 161   owner "tileupdate"
 162 end
 163
 164 postgresql_extension "postgis" do
 165   cluster node[:vectortile][:database][:cluster]
 166   database "spirit"
 167 end
 168
 169 postgresql_schema "tilekiln" do
 170   cluster node[:vectortile][:database][:cluster]
 171   database "tiles"
 172   owner "tileupdate"
 173   permissions "tileupdate" => :all, "tilekiln" => :usage
 174   notifies :run, "execute[tilekiln-storage-init]", :immediately
 175 end
 176
 177 execute "tilekiln-storage-init" do
 178   action :nothing
 179   command "/usr/local/bin/tilekiln-storage-init"
 180   user "tileupdate"
 181 end
 182
 183 %w[metadata shortbread_v1].each do |table|
 184   postgresql_table table do
 185     cluster node[:vectortile][:database][:cluster]
 186     database "tiles"
 187     schema "tilekiln"
 188     owner "tileupdate"
 189     permissions "tileupdate" => :all, "tilekiln" => :select
 190   end
 191 end
 192
 193 postgresql_table "tile_stats" do
 194   cluster node[:vectortile][:database][:cluster]
 195   database "tiles"
 196   schema "tilekiln"
 197   owner "tilekiln"
 198 end
 199
 200 (0..14).each do |zoom|
 201   postgresql_table "shortbread_v1_z#{zoom}" do
 202     cluster node[:vectortile][:database][:cluster]
 203     database "tiles"
 204     schema "tilekiln"
 205     owner "tileupdate"
 206     permissions "tileupdate" => :all, "tilekiln" => node[:vectortile][:serve][:mode] == :live ? [:select, :insert, :update] : :select
 207   end
 208 end
 209
 210 %w[addresses aerialways aeroways boundaries boundary_labels bridges buildings
 211 dam_lines dam_polygons ferries land pier_lines pier_polygons place_labels
 212 planet_osm_nodes planet_osm_rels planet_osm_ways pois public_transport railways
 213 road_routes roads sites street_polygons streets_labels_points
 214 streets_polygons_labels water_area_labels water_areas water_lines water_lines_labels].each do |table|
 215   postgresql_table table do
 216     cluster node[:vectortile][:database][:cluster]
 217     database "spirit"
 218     schema "public"
 219     owner "tileupdate"
 220     permissions "tileupdate" => :all, "tilekiln" => :select
 221   end
 222 end
 223
 224 tilekiln_mode = node[:vectortile][:serve][:mode] == :live ? "live --config #{shortbread_config} --source-dbname spirit" : "static"
 225
 226 systemd_service "tilekiln" do
 227   description "Tilekiln vector tile server"
 228   user "tilekiln"
 229   after "postgresql.service"
 230   wants "postgresql.service"
 231   sandbox :enable_network => true
 232   restrict_address_families "AF_UNIX"
 233   exec_start "#{tilekiln_directory}/bin/tilekiln serve #{tilekiln_mode} --storage-dbname tiles --num-threads #{node[:vectortile][:serve][:threads]} --base-url 'https://vector.openstreetmap.org'"
 234 end
 235
 236 service "tilekiln" do
 237   action [:enable, :start]
 238 end
 239
 240 execute "/srv/vector.openstreetmap.org/spirit/scripts/get-external-data.py" do
 241   command "/srv/vector.openstreetmap.org/spirit/scripts/get-external-data.py -R tilekiln"
 242   cwd "/srv/vector.openstreetmap.org/spirit"
 243   user "tileupdate"
 244   group "tileupdate"
 245   ignore_failure true
 246 end
 247
 248 template "/usr/local/bin/vector-update" do
 249   source node[:vectortile][:replication][:tileupdate] == :enabled ? "vector-update-tile.erb" : "vector-update-notile.erb"
 250   owner "root"
 251   group "root"
 252   mode "755"
 253   variables :tilekiln_bin => "#{tilekiln_directory}/bin/tilekiln", :source_database => "spirit", :config_path => "#{shortbread_config}", :diff_size => "1000", :tiles_file => "/srv/vector.openstreetmap.org/data/tiles.txt", :post_processing => "/usr/local/bin/tiles-rerender"
 254 end
 255
 256 template "/usr/local/bin/tiles-rerender" do
 257   source "tiles-rerender.erb"
 258   owner "root"
 259   group "root"
 260   mode "755"
 261   variables :tilekiln_bin => "#{tilekiln_directory}/bin/tilekiln", :source_database => "spirit", :storage_database => "tiles", :config_path => "#{shortbread_config}", :tiles_file => "/srv/vector.openstreetmap.org/data/tiles.txt", :update_threads => 4
 262 end
 263
 264 systemd_service "replicate" do
 265   description "Get replication updates"
 266   user "tileupdate"
 267   after "postgresql.service"
 268   wants "postgresql.service"
 269   sandbox :enable_network => true
 270   restrict_address_families "AF_UNIX"
 271   read_write_paths ["/srv/vector.openstreetmap.org/data/"]
 272   exec_start "/usr/local/bin/vector-update"
 273 end
 274
 275 systemd_timer "replicate" do
 276   description "Get replication updates"
 277   on_boot_sec 60
 278   on_unit_active_sec 30
 279   accuracy_sec 5
 280 end
 281
 282 if node[:vectortile][:replication][:status] == :enabled
 283   service "replicate.timer" do
 284     action [:enable, :start]
 285   end
 286 else
 287   service "replicate.timer" do
 288     action [:stop, :disable]
 289   end
 290 end
 291
 292 package %w[
 293   ruby-pg
 294   ruby-webrick
 295 ]
 296
 297 prometheus_exporter "osm2pgsql" do
 298   port 10027
 299   user "tileupdate"
 300   restrict_address_families "AF_UNIX"
 301   options [
 302     "--database-name=spirit"
 303   ]
 304 end
 305
 306 systemd_service "tilekiln-prometheus" do
 307   description "Tilekiln vector tile server"
 308   user "tilekiln"
 309   after "postgresql.service"
 310   wants "postgresql.service"
 311   sandbox :enable_network => true
 312   restrict_address_families "AF_UNIX"
 313   exec_start "#{tilekiln_directory}/bin/tilekiln prometheus --bind-host #{node[:prometheus][:address]} --storage-dbname tiles"
 314 end
 315
 316 service "tilekiln-prometheus" do
 317   action [:enable, :start]
 318 end
 319
 320 node.default[:prometheus][:exporters][10013] = {
 321   :name => "tilekiln",
 322   :address => "#{node[:prometheus][:address]}:10013",
 323 }