cookbooks/vectortile/recipes/default.rb

   1 #
   2 # Cookbook:: vectortile
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2024, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "git"
  22 include_recipe "nginx"
  23 include_recipe "postgresql"
  24 include_recipe "prometheus"
  25 include_recipe "python"
  26 include_recipe "tools"
  27
  28 directory "/srv/vector.openstreetmap.org" do
  29   user "tileupdate"
  30   group "tileupdate"
  31   mode "755"
  32 end
  33
  34 nginx_site "default" do
  35   action [:delete]
  36 end
  37
  38 nginx_site "vector.openstreetmap.org" do
  39   template "nginx.erb"
  40 end
  41
  42 ssl_certificate node[:fqdn] do
  43   domains [node[:fqdn]]
  44   notifies :reload, "service[nginx]"
  45 end
  46
  47 remote_directory "/srv/vector.openstreetmap.org/html" do
  48   source "html"
  49   owner "www-data"
  50   group "www-data"
  51   mode "755"
  52   files_owner "www-data"
  53   files_group "www-data"
  54   files_mode "644"
  55 end
  56
  57 template "/srv/vector.openstreetmap.org/html/index.html" do
  58   source "index.html.erb"
  59   owner "www-data"
  60   group "www-data"
  61   mode "644"
  62 end
  63
  64 postgresql_version = node[:vectortile][:database][:cluster].split("/").first
  65 postgis_version = node[:vectortile][:database][:postgis]
  66
  67 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
  68
  69 # Spirit dependencies
  70 package %w[
  71   osm2pgsql
  72   gdal-bin
  73   python3-yaml
  74   python3-psycopg2
  75 ]
  76
  77 style_directory = "/srv/vector.openstreetmap.org/spirit"
  78 git style_directory do
  79   repository "https://github.com/pnorman/spirit.git"
  80   user "tileupdate"
  81   group "tileupdate"
  82 end
  83
  84 shortbread_config = "#{style_directory}/shortbread.yaml"
  85
  86 themepark_directory = "/srv/vector.openstreetmap.org/osm2pgsql-themepark"
  87 git themepark_directory do
  88   repository "https://github.com/osm2pgsql-dev/osm2pgsql-themepark.git"
  89   user "tileupdate"
  90   group "tileupdate"
  91 end
  92
  93 tilekiln_directory = "/opt/tilekiln"
  94
  95 python_virtualenv tilekiln_directory do
  96   interpreter "/usr/bin/python3"
  97 end
  98
  99 python_package "tilekiln" do
 100   python_virtualenv tilekiln_directory
 101   python_version "3"
 102   version "0.6.3"
 103 end
 104
 105 template "/srv/vector.openstreetmap.org/html/index.html" do
 106   source "index.html.erb"
 107   owner "www-data"
 108   group "www-data"
 109   mode "644"
 110 end
 111
 112 directory "/srv/vector.openstreetmap.org/data" do
 113   user "tileupdate"
 114   group "tileupdate"
 115   mode "755"
 116 end
 117
 118 node_store_options = node[:vectortile][:database][:nodes_store] == :flat ? "--flat-nodes '/srv/vector.openstreetmap.org/data/nodes.bin'" : ""
 119 template "/usr/local/bin/import-planet" do
 120   source "import-planet.erb"
 121   owner "root"
 122   group "root"
 123   mode "755"
 124   variables :node_store_options => "#{node_store_options}"
 125 end
 126
 127 template "/usr/local/bin/tilekiln-storage-init" do
 128   source "tilekiln-storage-init.erb"
 129   owner "root"
 130   group "root"
 131   mode "755"
 132   variables :tilekiln_bin => "#{tilekiln_directory}/bin/tilekiln", :storage_database => "tiles", :config_path => "#{shortbread_config}"
 133 end
 134
 135 postgresql_user "tomh" do
 136   cluster node[:vectortile][:database][:cluster]
 137   superuser true
 138 end
 139
 140 postgresql_user "pnorman" do
 141   cluster node[:vectortile][:database][:cluster]
 142   superuser true
 143 end
 144
 145 postgresql_user "tilekiln" do
 146   cluster node[:vectortile][:database][:cluster]
 147 end
 148
 149 postgresql_user "tileupdate" do
 150   cluster node[:vectortile][:database][:cluster]
 151 end
 152
 153 postgresql_database "tiles" do
 154   cluster node[:vectortile][:database][:cluster]
 155   owner "tileupdate"
 156 end
 157
 158 postgresql_database "spirit" do
 159   cluster node[:vectortile][:database][:cluster]
 160   owner "tileupdate"
 161 end
 162
 163 postgresql_extension "postgis" do
 164   cluster node[:vectortile][:database][:cluster]
 165   database "spirit"
 166 end
 167
 168 postgresql_schema "tilekiln" do
 169   cluster node[:vectortile][:database][:cluster]
 170   database "tiles"
 171   owner "tileupdate"
 172   permissions "tileupdate" => :all, "tilekiln" => :usage
 173   notifies :run, "execute[tilekiln-storage-init]", :immediately
 174 end
 175
 176 execute "tilekiln-storage-init" do
 177   action :nothing
 178   command "/usr/local/bin/tilekiln-storage-init"
 179   user "tileupdate"
 180 end
 181
 182 %w[metadata shortbread_v1].each do |table|
 183   postgresql_table table do
 184     cluster node[:vectortile][:database][:cluster]
 185     database "tiles"
 186     schema "tilekiln"
 187     owner "tileupdate"
 188     permissions "tileupdate" => :all, "tilekiln" => :select
 189   end
 190 end
 191
 192 (0..14).each do |zoom|
 193   postgresql_table "shortbread_v1_z#{zoom}" do
 194     cluster node[:vectortile][:database][:cluster]
 195     database "tiles"
 196     schema "tilekiln"
 197     owner "tileupdate"
 198     permissions "tileupdate" => :all, "tilekiln" => node[:vectortile][:serve][:mode] == :live ? [:select, :insert, :update] : :select
 199   end
 200 end
 201
 202 %w[addresses aerialways aeroways boundaries boundary_labels bridges buildings
 203 dam_lines dam_polygons ferries land pier_lines pier_polygons place_labels
 204 planet_osm_nodes planet_osm_rels planet_osm_ways pois public_transport railways
 205 road_routes roads sites street_polygons streets_labels_points
 206 streets_polygons_labels water_area_labels water_areas water_lines water_lines_labels].each do |table|
 207   postgresql_table table do
 208     cluster node[:vectortile][:database][:cluster]
 209     database "spirit"
 210     schema "public"
 211     owner "tileupdate"
 212     permissions "tileupdate" => :all, "tilekiln" => :select
 213   end
 214 end
 215
 216 tilekiln_mode = node[:vectortile][:serve][:mode] == :live ? "live --config #{shortbread_config} --source-dbname spirit" : "static"
 217
 218 systemd_service "tilekiln" do
 219   description "Tilekiln vector tile server"
 220   user "tilekiln"
 221   after "postgresql.service"
 222   wants "postgresql.service"
 223   sandbox :enable_network => true
 224   restrict_address_families "AF_UNIX"
 225   exec_start "#{tilekiln_directory}/bin/tilekiln serve #{tilekiln_mode} --storage-dbname tiles --num-threads #{node[:vectortile][:serve][:threads]} --base-url 'https://vector.openstreetmap.org'"
 226 end
 227
 228 service "tilekiln" do
 229   action [:enable, :start]
 230 end
 231
 232 execute "/srv/vector.openstreetmap.org/spirit/scripts/get-external-data.py" do
 233   command "/srv/vector.openstreetmap.org/spirit/scripts/get-external-data.py -R tilekiln"
 234   cwd "/srv/vector.openstreetmap.org/spirit"
 235   user "tileupdate"
 236   group "tileupdate"
 237   ignore_failure true
 238 end
 239
 240 template "/usr/local/bin/vector-update" do
 241   source node[:vectortile][:replication][:tileupdate] == :enabled ? "vector-update-tile.erb" : "vector-update-notile.erb"
 242   owner "root"
 243   group "root"
 244   mode "755"
 245   variables :tilekiln_bin => "#{tilekiln_directory}/bin/tilekiln", :source_database => "spirit", :config_path => "#{shortbread_config}", :diff_size => "1000", :tiles_file => "/srv/vector.openstreetmap.org/data/tiles.txt", :post_processing => "/usr/local/bin/tiles-rerender"
 246 end
 247
 248 template "/usr/local/bin/tiles-rerender" do
 249   source "tiles-rerender.erb"
 250   owner "root"
 251   group "root"
 252   mode "755"
 253   variables :tilekiln_bin => "#{tilekiln_directory}/bin/tilekiln", :source_database => "spirit", :storage_database => "tiles", :config_path => "#{shortbread_config}", :tiles_file => "/srv/vector.openstreetmap.org/data/tiles.txt", :update_threads => 4
 254 end
 255
 256 systemd_service "replicate" do
 257   description "Get replication updates"
 258   user "tileupdate"
 259   after "postgresql.service"
 260   wants "postgresql.service"
 261   sandbox :enable_network => true
 262   restrict_address_families "AF_UNIX"
 263   read_write_paths ["/srv/vector.openstreetmap.org/data/"]
 264   exec_start "/usr/local/bin/vector-update"
 265 end
 266
 267 systemd_timer "replicate" do
 268   description "Get replication updates"
 269   on_boot_sec 60
 270   on_unit_active_sec 30
 271   accuracy_sec 5
 272 end
 273
 274 if node[:vectortile][:replication][:status] == :enabled
 275   service "replicate.timer" do
 276     action [:enable, :start]
 277   end
 278 else
 279   service "replicate.timer" do
 280     action [:stop, :disable]
 281   end
 282 end