cookbooks/nominatim/recipes/base.rb

   1 #
   2 # Cookbook Name:: nominatim
   3 # Recipe:: base
   4 #
   5 # Copyright 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     http://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "apache::ssl"
  21 include_recipe "postgresql"
  22
  23 package "php5"
  24 package "php5-cli"
  25 package "php5-pgsql"
  26 package "php5-fpm"
  27 package "php-pear"
  28 package "php-apc"
  29 package "php-db"
  30
  31 apache_module "rewrite"
  32 apache_module "proxy"
  33 apache_module "proxy_fcgi"
  34 apache_module "proxy_http"
  35
  36 home_directory = data_bag_item("accounts", "nominatim")["home"]
  37 source_directory = "#{home_directory}/nominatim"
  38 email_errors = data_bag_item("accounts", "lonvia")["email"]
  39
  40 database_cluster = node[:nominatim][:database][:cluster]
  41 database_version = database_cluster.sub(%r{/.*}, "")
  42 database_name = node[:nominatim][:database][:dbname]
  43
  44 postgis_version = node[:nominatim][:database][:postgis]
  45
  46 service "php5-fpm" do
  47   provider Chef::Provider::Service::Upstart
  48   action [:enable, :start]
  49   supports :status => true, :restart => true, :reload => true
  50 end
  51
  52 node[:nominatim][:fpm_pools].each do |name, data|
  53   template "/etc/php5/fpm/pool.d/#{name}.conf" do
  54     source "fpm.conf.erb"
  55     owner "root"
  56     group "root"
  57     mode 0644
  58     variables data.merge(:name => name, :port => data[:port])
  59     notifies :reload, "service[php5-fpm]"
  60   end
  61 end
  62
  63 postgresql_munin "nominatim" do
  64   cluster database_cluster
  65   database database_name
  66 end
  67
  68 directory node[:nominatim][:logdir] do
  69   owner "nominatim"
  70   group "nominatim"
  71   mode 0755
  72   recursive true
  73 end
  74
  75 file "#{node[:nominatim][:logdir]}/query.log" do
  76   action :create_if_missing
  77   owner "www-data"
  78   group "adm"
  79   mode 0664
  80 end
  81
  82 file "#{node[:nominatim][:logdir]}/update.log" do
  83   action :create_if_missing
  84   owner "nominatim"
  85   group "adm"
  86   mode 0664
  87 end
  88
  89 directory "#{home_directory}/status" do
  90   owner "nominatim"
  91   group "postgres"
  92   mode 0775
  93 end
  94
  95 template "/etc/logrotate.d/nominatim" do
  96   source "logrotate.nominatim.erb"
  97   owner "root"
  98   group "root"
  99   mode 0644
 100 end
 101
 102 template "/etc/logrotate.d/apache2" do
 103   source "logrotate.apache.erb"
 104   owner "root"
 105   group "root"
 106   mode 0644
 107 end
 108
 109 package "osmosis"
 110 package "gcc"
 111 package "proj-bin"
 112 package "libgeos-c1"
 113 package "postgresql-#{database_version}-postgis-#{postgis_version}"
 114 package "postgresql-server-dev-#{database_version}"
 115 package "build-essential"
 116 package "libxml2-dev"
 117 package "libexpat-dev"
 118 package "libgeos-dev"
 119 package "libgeos++-dev"
 120 package "libpq-dev"
 121 package "libbz2-dev"
 122 package "libtool"
 123 package "automake"
 124 package "libproj-dev"
 125 package "libprotobuf-c0-dev"
 126 package "protobuf-c-compiler"
 127 package "python-psycopg2"
 128 package "libboost-dev"
 129 package "libboost-system-dev"
 130 package "libboost-filesystem-dev"
 131 package "libboost-thread-dev"
 132
 133 execute "compile_nominatim" do
 134   action :nothing
 135   command "cd #{source_directory} && ./autogen.sh && ./configure && make"
 136   user "nominatim"
 137 end
 138
 139 template "#{source_directory}/.git/hooks/post-merge" do
 140   source "update_source.erb"
 141   owner "nominatim"
 142   group "nominatim"
 143   mode 0755
 144   variables :source_directory => source_directory
 145 end
 146
 147 template "#{source_directory}/settings/local.php" do
 148   source "nominatim.erb"
 149   owner "nominatim"
 150   group "nominatim"
 151   mode 0664
 152   variables :postgres_version => database_version
 153 end
 154
 155 template "#{source_directory}/settings/ip_blocks.conf" do
 156   action :create_if_missing
 157   source "ipblocks.erb"
 158   owner "nominatim"
 159   group "nominatim"
 160   mode 0664
 161 end
 162
 163 file "#{source_directory}/settings/apache_blocks.conf" do
 164   action :create_if_missing
 165   owner "nominatim"
 166   group "nominatim"
 167   mode 0664
 168 end
 169
 170 file "#{source_directory}/settings/ip_blocks.map" do
 171   action :create_if_missing
 172   owner "nominatim"
 173   group "nominatim"
 174   mode 0664
 175 end
 176
 177 cron_action = if node[:nominatim][:enabled]
 178                 :create
 179               else
 180                 :delete
 181               end
 182
 183 template "/etc/cron.d/nominatim" do
 184   action cron_action
 185   source "cron.erb"
 186   owner "root"
 187   group "root"
 188   mode "0644"
 189   variables :bin_directory => "#{source_directory}/utils", :mailto => email_errors
 190 end
 191
 192 template "#{source_directory}/utils/nominatim-update" do
 193   source "updater.erb"
 194   user "nominatim"
 195   group "nominatim"
 196   mode 0755
 197 end
 198
 199 template "/etc/init.d/nominatim-update" do
 200   source "updater.init.erb"
 201   user "nominatim"
 202   group "nominatim"
 203   mode 0755
 204   variables :source_directory => source_directory
 205 end
 206
 207 munin_plugin_conf "nominatim" do
 208   template "munin.erb"
 209 end
 210
 211 munin_plugin "nominatim_importlag" do
 212   target "#{source_directory}/munin/nominatim_importlag"
 213 end
 214
 215 munin_plugin "nominatim_query_speed" do
 216   target "#{source_directory}/munin/nominatim_query_speed_querylog"
 217 end
 218
 219 munin_plugin "nominatim_requests" do
 220   target "#{source_directory}/munin/nominatim_requests_querylog"
 221 end
 222
 223 munin_plugin "nominatim_throttled_ips" do
 224   target "#{source_directory}/munin/nominatim_throttled_ips"
 225 end
 226
 227 external_data = [
 228   "wikipedia_article.sql.bin",
 229   "wikipedia_redirect.sql.bin",
 230   "gb_postcode_data.sql.gz"
 231 ]
 232
 233 external_data.each do |fname|
 234   remote_file "#{source_directory}/data/#{fname}" do
 235     action :create_if_missing
 236     source "http://www.nominatim.org/data/#{fname}"
 237     owner "nominatim"
 238     group "nominatim"
 239     mode 0644
 240   end
 241 end
 242
 243 additional_scripts = %w(backup-nominatim vacuum-db-nominatim)
 244
 245 additional_scripts.each do |fname|
 246   template "/usr/local/bin/#{fname}" do
 247     source "#{fname}.erb"
 248     owner "root"
 249     group "root"
 250     mode 0755
 251   end
 252 end
 253
 254 directory File.dirname(node[:nominatim][:flatnode_file]) do
 255   owner "nominatim"
 256   group "nominatim"
 257   mode 0755
 258   recursive true
 259 end
 260
 261 apache_site "nominatim.openstreetmap.org" do
 262   template "apache.erb"
 263   directory source_directory
 264   variables :pools => node[:nominatim][:fpm_pools]
 265 end
 266
 267 apache_site "default" do
 268   action [:disable]
 269 end
 270
 271 fail2ban_filter "nominatim" do
 272   failregex '^<HOST> - - \[[^]]+\] "[^"]+" 429 '
 273 end
 274
 275 fail2ban_jail "nominatim" do
 276   filter "nominatim"
 277   logpath "/var/log/apache2/nominatim.openstreetmap.org-access.log"
 278   ports [80, 443]
 279   maxretry 100
 280 end