cookbooks/nominatim/recipes/default.rb

   1 #
   2 # Cookbook:: nominatim
   3 # Recipe:: base
   4 #
   5 # Copyright:: 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "munin"
  21
  22 basedir = data_bag_item("accounts", "nominatim")["home"]
  23 email_errors = data_bag_item("accounts", "lonvia")["email"]
  24
  25 directory basedir do
  26   owner "nominatim"
  27   group "nominatim"
  28   mode 0o755
  29   recursive true
  30 end
  31
  32 directory node[:nominatim][:logdir] do
  33   owner "nominatim"
  34   group "nominatim"
  35   mode 0o755
  36   recursive true
  37 end
  38
  39 file "#{node[:nominatim][:logdir]}/query.log" do
  40   action :create_if_missing
  41   owner "www-data"
  42   group "adm"
  43   mode 0o664
  44 end
  45
  46 file "#{node[:nominatim][:logdir]}/update.log" do
  47   action :create_if_missing
  48   owner "nominatim"
  49   group "adm"
  50   mode 0o664
  51 end
  52
  53 ## Postgresql
  54
  55 include_recipe "postgresql"
  56
  57 postgresql_version = node[:nominatim][:dbcluster].split("/").first
  58 postgis_version = node[:nominatim][:postgis]
  59
  60 package "postgresql-#{postgresql_version}-postgis-#{postgis_version}"
  61
  62 node[:nominatim][:dbadmins].each do |user|
  63   postgresql_user user do
  64     cluster node[:nominatim][:dbcluster]
  65     superuser true
  66     only_if { node[:nominatim][:state] != "slave" }
  67   end
  68 end
  69
  70 postgresql_user "nominatim" do
  71   cluster node[:nominatim][:dbcluster]
  72   superuser true
  73   only_if { node[:nominatim][:state] != "slave" }
  74 end
  75
  76 postgresql_user "www-data" do
  77   cluster node[:nominatim][:dbcluster]
  78   only_if { node[:nominatim][:state] != "slave" }
  79 end
  80
  81 postgresql_munin "nominatim" do
  82   cluster node[:nominatim][:dbcluster]
  83   database node[:nominatim][:dbname]
  84 end
  85
  86 directory "#{basedir}/tablespaces" do
  87   owner "postgres"
  88   group "postgres"
  89   mode 0o700
  90 end
  91
  92 # Note: tablespaces must be exactly in the same location on each
  93 #       Nominatim instance when replication is in use. Therefore
  94 #       use symlinks to canonical directory locations.
  95 node[:nominatim][:tablespaces].each do |name, location|
  96   directory location do
  97     owner "postgres"
  98     group "postgres"
  99     mode 0o700
 100     recursive true
 101   end
 102
 103   link "#{basedir}/tablespaces/#{name}" do
 104     to location
 105   end
 106
 107   postgresql_tablespace name do
 108     cluster node[:nominatim][:dbcluster]
 109     location "#{basedir}/tablespaces/#{name}"
 110   end
 111 end
 112
 113 if node[:nominatim][:state] == "master"
 114   postgresql_user "replication" do
 115     cluster node[:nominatim][:dbcluster]
 116     password data_bag_item("nominatim", "passwords")["replication"]
 117     replication true
 118   end
 119
 120   directory node[:rsyncd][:modules][:archive][:path] do
 121     owner "postgres"
 122     group "postgres"
 123     mode 0o700
 124   end
 125
 126   template "/usr/local/bin/clean-db-nominatim" do
 127     source "clean-db-nominatim.erb"
 128     owner "root"
 129     group "root"
 130     mode 0o755
 131     variables :archive_dir => node[:rsyncd][:modules][:archive][:path],
 132               :update_stop_file => "#{basedir}/status/updates_disabled",
 133               :streaming_clients => search(:node, "nominatim_state:slave").map { |slave| slave[:fqdn] }.join(" ")
 134   end
 135 end
 136
 137 ## Nominatim backend
 138
 139 include_recipe "git"
 140
 141 package %w[
 142   build-essential
 143   cmake
 144   g++
 145   libboost-dev
 146   libboost-system-dev
 147   libboost-filesystem-dev
 148   libexpat1-dev
 149   zlib1g-dev
 150   libxml2-dev
 151   libbz2-dev
 152   libpq-dev
 153   libgeos++-dev
 154   libproj-dev
 155   python3-pyosmium
 156   pyosmium
 157   python3-psycopg2
 158 ]
 159
 160 source_directory = "#{basedir}/nominatim"
 161 build_directory = "#{basedir}/bin"
 162
 163 directory build_directory do
 164   owner "nominatim"
 165   group "nominatim"
 166   mode 0o755
 167   recursive true
 168 end
 169
 170 # Normally syncing via chef is a bad idea because syncing might involve
 171 # an update of database functions which should not be done while an update
 172 # is ongoing. Therefore we sync in between update cycles. There is an
 173 # exception for slaves: they get DB function updates from the master, so
 174 # only the source code needs to be updated, which chef may do.
 175 git source_directory do
 176   action node[:nominatim][:state] == "slave" ? :sync : :checkout
 177   repository node[:nominatim][:repository]
 178   revision node[:nominatim][:revision]
 179   enable_submodules true
 180   user "nominatim"
 181   group "nominatim"
 182   not_if { node[:nominatim][:state] != "slave" && File.exist?("#{source_directory}/README.md") }
 183   notifies :run, "execute[compile_nominatim]", :immediately
 184 end
 185
 186 execute "compile_nominatim" do
 187   action :nothing
 188   user "nominatim"
 189   cwd build_directory
 190   command "cmake #{source_directory} && make"
 191 end
 192
 193 template "#{source_directory}/.git/hooks/post-merge" do
 194   source "git-post-merge-hook.erb"
 195   owner "nominatim"
 196   group "nominatim"
 197   mode 0o755
 198   variables :srcdir => source_directory,
 199             :builddir => build_directory,
 200             :dbname => node[:nominatim][:dbname]
 201 end
 202
 203 template "#{build_directory}/settings/local.php" do
 204   source "settings.erb"
 205   owner "nominatim"
 206   group "nominatim"
 207   mode 0o664
 208   variables :base_url => node[:nominatim][:state] == "off" ? node[:fqdn] : "nominatim.openstreetmap.org",
 209             :dbname => node[:nominatim][:dbname],
 210             :flatnode_file => node[:nominatim][:flatnode_file],
 211             :log_file => "#{node[:nominatim][:logdir]}/query.log"
 212 end
 213
 214 if node[:nominatim][:flatnode_file]
 215   directory File.dirname(node[:nominatim][:flatnode_file]) do
 216     recursive true
 217   end
 218 end
 219
 220 template "/etc/logrotate.d/nominatim" do
 221   source "logrotate.nominatim.erb"
 222   owner "root"
 223   group "root"
 224   mode 0o644
 225 end
 226
 227 external_data = [
 228   "wikimedia-importance.sql.gz",
 229   "gb_postcode_data.sql.gz"
 230 ]
 231
 232 external_data.each do |fname|
 233   remote_file "#{source_directory}/data/#{fname}" do
 234     action :create_if_missing
 235     source "https://www.nominatim.org/data/#{fname}"
 236     owner "nominatim"
 237     group "nominatim"
 238     mode 0o644
 239   end
 240 end
 241
 242 remote_file "#{source_directory}/data/country_osm_grid.sql.gz" do
 243   action :create_if_missing
 244   source "https://www.nominatim.org/data/country_grid.sql.gz"
 245   owner "nominatim"
 246   group "nominatim"
 247   mode 0o644
 248 end
 249
 250 template "/etc/cron.d/nominatim" do
 251   action node[:nominatim][:state] == "off" ? :delete : :create
 252   source "nominatim.cron.erb"
 253   owner "root"
 254   group "root"
 255   mode "0644"
 256   variables :bin_directory => "#{source_directory}/utils",
 257             :mailto => email_errors,
 258             :update_maintenance_trigger => "#{basedir}/status/update_maintenance"
 259 end
 260
 261 template "#{source_directory}/utils/nominatim-update" do
 262   source "updater.erb"
 263   user "nominatim"
 264   group "nominatim"
 265   mode 0o755
 266   variables :bindir => build_directory,
 267             :srcdir => source_directory,
 268             :logfile => "#{node[:nominatim][:logdir]}/update.log",
 269             :branch => node[:nominatim][:revision],
 270             :update_stop_file => "#{basedir}/status/updates_disabled",
 271             :update_maintenance_trigger => "#{basedir}/status/update_maintenance"
 272 end
 273
 274 template "/etc/init.d/nominatim-update" do
 275   source "updater.init.erb"
 276   user "nominatim"
 277   group "nominatim"
 278   mode 0o755
 279   variables :source_directory => source_directory
 280 end
 281
 282 %w[backup-nominatim vacuum-db-nominatim].each do |fname|
 283   template "/usr/local/bin/#{fname}" do
 284     source "#{fname}.erb"
 285     owner "root"
 286     group "root"
 287     mode 0o755
 288     variables :db => node[:nominatim][:dbname]
 289   end
 290 end
 291
 292 ## webserver frontend
 293
 294 template "#{build_directory}/settings/ip_blocks.conf" do
 295   action :create_if_missing
 296   source "ipblocks.erb"
 297   owner "nominatim"
 298   group "nominatim"
 299   mode 0o664
 300 end
 301
 302 file "#{build_directory}/settings/apache_blocks.conf" do
 303   action :create_if_missing
 304   owner "nominatim"
 305   group "nominatim"
 306   mode 0o664
 307 end
 308
 309 file "#{build_directory}/settings/ip_blocks.map" do
 310   action :create_if_missing
 311   owner "nominatim"
 312   group "nominatim"
 313   mode 0o664
 314 end
 315
 316 include_recipe "apache"
 317
 318 package "php"
 319 package "php-fpm"
 320 package "php-pgsql"
 321 package "php-intl"
 322
 323 apache_module "rewrite"
 324 apache_module "proxy"
 325 apache_module "proxy_fcgi"
 326 apache_module "proxy_http"
 327 apache_module "headers"
 328
 329 service "php7.2-fpm" do
 330   action [:enable, :start]
 331   supports :status => true, :restart => true, :reload => true
 332 end
 333
 334 node[:nominatim][:fpm_pools].each do |name, data|
 335   template "/etc/php/7.2/fpm/pool.d/#{name}.conf" do
 336     source "fpm.conf.erb"
 337     owner "root"
 338     group "root"
 339     mode 0o644
 340     variables data.merge(:name => name)
 341     notifies :reload, "service[php7.2-fpm]"
 342   end
 343 end
 344
 345 systemd_service "apache-nominatim" do
 346   service "apache2"
 347   dropin "nominatim"
 348   tasks_max 12000
 349   notifies :restart, "service[apache2]"
 350 end
 351
 352 ssl_certificate "nominatim.openstreetmap.org" do
 353   domains ["nominatim.openstreetmap.org",
 354            "nominatim.osm.org",
 355            "nominatim.openstreetmap.com",
 356            "nominatim.openstreetmap.net",
 357            "nominatim.openstreetmaps.org",
 358            "nominatim.openmaps.org"]
 359   notifies :reload, "service[apache2]"
 360 end
 361
 362 apache_site "nominatim.openstreetmap.org" do
 363   template "apache.erb"
 364   directory build_directory
 365   variables :pools => node[:nominatim][:fpm_pools]
 366   only_if { node[:nominatim][:state] != "off" }
 367 end
 368
 369 apache_site "default" do
 370   action [:disable]
 371 end
 372
 373 template "/etc/logrotate.d/apache2" do
 374   source "logrotate.apache.erb"
 375   owner "root"
 376   group "root"
 377   mode 0o644
 378 end
 379
 380 include_recipe "fail2ban"
 381
 382 munin_plugin_conf "nominatim" do
 383   template "munin.erb"
 384   variables :db => node[:nominatim][:dbname],
 385             :querylog => "#{node[:nominatim][:logdir]}/query.log"
 386 end
 387
 388 munin_plugin "nominatim_importlag" do
 389   target "#{source_directory}/munin/nominatim_importlag"
 390 end
 391
 392 munin_plugin "nominatim_query_speed" do
 393   target "#{source_directory}/munin/nominatim_query_speed_querylog"
 394 end
 395
 396 munin_plugin "nominatim_requests" do
 397   target "#{source_directory}/munin/nominatim_requests_querylog"
 398 end
 399
 400 munin_plugin "nominatim_throttled_ips" do
 401   target "#{source_directory}/munin/nominatim_throttled_ips"
 402 end
 403
 404 directory "#{basedir}/status" do
 405   owner "nominatim"
 406   group "postgres"
 407   mode 0o775
 408 end