cookbooks/nominatim/recipes/base.rb

   1 #
   2 # Cookbook Name:: nominatim
   3 # Recipe:: base
   4 #
   5 # Copyright 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     http://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "apache::ssl"
  21 include_recipe "postgresql"
  22
  23 package "php5"
  24 package "php5-cli"
  25 package "php5-pgsql"
  26 package "php5-fpm"
  27 package "php-pear"
  28 package "php-apc"
  29 package "php-db"
  30
  31 apache_module "rewrite"
  32 apache_module "proxy"
  33 apache_module "proxy_fcgi"
  34 apache_module "proxy_http"
  35 apache_module "headers"
  36
  37 home_directory = data_bag_item("accounts", "nominatim")["home"]
  38 source_directory = "#{home_directory}/nominatim"
  39 email_errors = data_bag_item("accounts", "lonvia")["email"]
  40
  41 database_cluster = node[:nominatim][:database][:cluster]
  42 database_version = database_cluster.sub(%r{/.*}, "")
  43 database_name = node[:nominatim][:database][:dbname]
  44
  45 postgis_version = node[:nominatim][:database][:postgis]
  46
  47 service "php5-fpm" do
  48   provider Chef::Provider::Service::Upstart
  49   action [:enable, :start]
  50   supports :status => true, :restart => true, :reload => true
  51 end
  52
  53 node[:nominatim][:fpm_pools].each do |name, data|
  54   template "/etc/php5/fpm/pool.d/#{name}.conf" do
  55     source "fpm.conf.erb"
  56     owner "root"
  57     group "root"
  58     mode 0o644
  59     variables data.merge(:name => name, :port => data[:port])
  60     notifies :reload, "service[php5-fpm]"
  61   end
  62 end
  63
  64 postgresql_munin "nominatim" do
  65   cluster database_cluster
  66   database database_name
  67 end
  68
  69 directory node[:nominatim][:logdir] do
  70   owner "nominatim"
  71   group "nominatim"
  72   mode 0o755
  73   recursive true
  74 end
  75
  76 file "#{node[:nominatim][:logdir]}/query.log" do
  77   action :create_if_missing
  78   owner "www-data"
  79   group "adm"
  80   mode 0o664
  81 end
  82
  83 file "#{node[:nominatim][:logdir]}/update.log" do
  84   action :create_if_missing
  85   owner "nominatim"
  86   group "adm"
  87   mode 0o664
  88 end
  89
  90 directory "#{home_directory}/status" do
  91   owner "nominatim"
  92   group "postgres"
  93   mode 0o775
  94 end
  95
  96 template "/etc/logrotate.d/nominatim" do
  97   source "logrotate.nominatim.erb"
  98   owner "root"
  99   group "root"
 100   mode 0o644
 101 end
 102
 103 template "/etc/logrotate.d/apache2" do
 104   source "logrotate.apache.erb"
 105   owner "root"
 106   group "root"
 107   mode 0o644
 108 end
 109
 110 package "osmosis"
 111 package "gcc"
 112 package "proj-bin"
 113 package "libgeos-c1"
 114 package "postgresql-#{database_version}-postgis-#{postgis_version}"
 115 package "postgresql-server-dev-#{database_version}"
 116 package "build-essential"
 117 package "libxml2-dev"
 118 package "libexpat-dev"
 119 package "libgeos-dev"
 120 package "libgeos++-dev"
 121 package "libpq-dev"
 122 package "libbz2-dev"
 123 package "libtool"
 124 package "automake"
 125 package "libproj-dev"
 126 package "libprotobuf-c0-dev"
 127 package "protobuf-c-compiler"
 128 package "python-psycopg2"
 129 package "libboost-dev"
 130 package "libboost-system-dev"
 131 package "libboost-filesystem-dev"
 132 package "libboost-thread-dev"
 133
 134 execute "compile_nominatim" do
 135   action :nothing
 136   command "cd #{source_directory} && ./autogen.sh && ./configure && make"
 137   user "nominatim"
 138 end
 139
 140 template "#{source_directory}/.git/hooks/post-merge" do
 141   source "update_source.erb"
 142   owner "nominatim"
 143   group "nominatim"
 144   mode 0o755
 145   variables :source_directory => source_directory
 146 end
 147
 148 template "#{source_directory}/settings/local.php" do
 149   source "nominatim.erb"
 150   owner "nominatim"
 151   group "nominatim"
 152   mode 0o664
 153   variables :postgres_version => database_version
 154 end
 155
 156 template "#{source_directory}/settings/ip_blocks.conf" do
 157   action :create_if_missing
 158   source "ipblocks.erb"
 159   owner "nominatim"
 160   group "nominatim"
 161   mode 0o664
 162 end
 163
 164 file "#{source_directory}/settings/apache_blocks.conf" do
 165   action :create_if_missing
 166   owner "nominatim"
 167   group "nominatim"
 168   mode 0o664
 169 end
 170
 171 file "#{source_directory}/settings/ip_blocks.map" do
 172   action :create_if_missing
 173   owner "nominatim"
 174   group "nominatim"
 175   mode 0o664
 176 end
 177
 178 cron_action = if node[:nominatim][:enabled]
 179                 :create
 180               else
 181                 :delete
 182               end
 183
 184 template "/etc/cron.d/nominatim" do
 185   action cron_action
 186   source "cron.erb"
 187   owner "root"
 188   group "root"
 189   mode "0644"
 190   variables :bin_directory => "#{source_directory}/utils", :mailto => email_errors
 191 end
 192
 193 template "#{source_directory}/utils/nominatim-update" do
 194   source "updater.erb"
 195   user "nominatim"
 196   group "nominatim"
 197   mode 0o755
 198   variables :bindir => source_directory,
 199             :logfile => "#{node[:nominatim][:logdir]}/update.log",
 200             :branch => node[:nominatim][:revision],
 201             :update_stop_file => "#{home_directory}/status/updates_disabled"
 202 end
 203
 204 template "/etc/init.d/nominatim-update" do
 205   source "updater.init.erb"
 206   user "nominatim"
 207   group "nominatim"
 208   mode 0o755
 209   variables :source_directory => source_directory
 210 end
 211
 212 munin_plugin_conf "nominatim" do
 213   template "munin.erb"
 214   variables :db => node[:nominatim][:database][:dbname],
 215             :querylog => "#{node[:nominatim][:logdir]}/query.log"
 216 end
 217
 218 munin_plugin "nominatim_importlag" do
 219   target "#{source_directory}/munin/nominatim_importlag"
 220 end
 221
 222 munin_plugin "nominatim_query_speed" do
 223   target "#{source_directory}/munin/nominatim_query_speed_querylog"
 224 end
 225
 226 munin_plugin "nominatim_requests" do
 227   target "#{source_directory}/munin/nominatim_requests_querylog"
 228 end
 229
 230 munin_plugin "nominatim_throttled_ips" do
 231   target "#{source_directory}/munin/nominatim_throttled_ips"
 232 end
 233
 234 external_data = [
 235   "wikipedia_article.sql.bin",
 236   "wikipedia_redirect.sql.bin",
 237   "gb_postcode_data.sql.gz"
 238 ]
 239
 240 external_data.each do |fname|
 241   remote_file "#{source_directory}/data/#{fname}" do
 242     action :create_if_missing
 243     source "http://www.nominatim.org/data/#{fname}"
 244     owner "nominatim"
 245     group "nominatim"
 246     mode 0o644
 247   end
 248 end
 249
 250 additional_scripts = %w(backup-nominatim vacuum-db-nominatim)
 251
 252 additional_scripts.each do |fname|
 253   template "/usr/local/bin/#{fname}" do
 254     source "#{fname}.erb"
 255     owner "root"
 256     group "root"
 257     mode 0o755
 258     variables :db => node[:nominatim][:database][:dbname]
 259   end
 260 end
 261
 262 directory File.dirname(node[:nominatim][:flatnode_file]) do
 263   owner "nominatim"
 264   group "nominatim"
 265   mode 0o755
 266   recursive true
 267 end
 268
 269 apache_site "nominatim.openstreetmap.org" do
 270   template "apache.erb"
 271   directory source_directory
 272   variables :pools => node[:nominatim][:fpm_pools]
 273 end
 274
 275 apache_site "default" do
 276   action [:disable]
 277 end
 278
 279 fail2ban_filter "nominatim" do
 280   failregex '^<HOST> - - \[[^]]+\] "[^"]+" 429 '
 281 end
 282
 283 fail2ban_jail "nominatim" do
 284   filter "nominatim"
 285   logpath "/var/log/apache2/nominatim.openstreetmap.org-access.log"
 286   ports [80, 443]
 287   maxretry 100
 288 end