cookbooks/nominatim/recipes/base.rb

   1 #
   2 # Cookbook Name:: nominatim
   3 # Recipe:: base
   4 #
   5 # Copyright 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     http://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "apache::ssl"
  21 include_recipe "postgresql"
  22 include_recipe "git"
  23
  24 package "php5"
  25 package "php5-cli"
  26 package "php5-pgsql"
  27 package "php5-fpm"
  28 package "php-pear"
  29 package "php-apc"
  30
  31 apache_module "rewrite"
  32 apache_module "proxy"
  33 apache_module "proxy_fcgi"
  34 apache_module "proxy_http"
  35
  36 home_directory = data_bag_item("accounts", "nominatim")["home"]
  37 source_directory = "#{home_directory}/nominatim"
  38 email_errors = data_bag_item("accounts", "lonvia")["email"]
  39
  40 database_cluster = node[:nominatim][:database][:cluster]
  41 database_version = database_cluster.sub(%r{/.*}, "")
  42 database_name = node[:nominatim][:database][:dbname]
  43
  44 postgis_version = node[:nominatim][:database][:postgis]
  45
  46 service "php5-fpm" do
  47   provider Chef::Provider::Service::Upstart
  48   action [:enable, :start]
  49   supports :status => true, :restart => true, :reload => true
  50 end
  51
  52 node[:nominatim][:fpm_pools].each do |name, data|
  53   template "/etc/php5/fpm/pool.d/#{name}.conf" do
  54     source "fpm.conf.erb"
  55     owner "root"
  56     group "root"
  57     mode 0644
  58     variables data.merge(:name => name, :port => data[:port])
  59     notifies :reload, "service[php5-fpm]"
  60   end
  61 end
  62
  63 postgresql_munin "nominatim" do
  64   cluster database_cluster
  65   database database_name
  66 end
  67
  68 directory "/var/log/nominatim" do
  69   owner "nominatim"
  70   group "nominatim"
  71   mode 0755
  72 end
  73
  74 template "/etc/logrotate.d/nominatim" do
  75   source "logrotate.nominatim.erb"
  76   owner "root"
  77   group "root"
  78   mode 0644
  79 end
  80
  81 package "osmosis"
  82 package "gcc"
  83 package "proj-bin"
  84 package "libgeos-c1"
  85 package "postgresql-#{database_version}-postgis-#{postgis_version}"
  86 package "postgresql-server-dev-#{database_version}"
  87 package "build-essential"
  88 package "libxml2-dev"
  89 package "libgeos-dev"
  90 package "libgeos++-dev"
  91 package "libpq-dev"
  92 package "libbz2-dev"
  93 package "libtool"
  94 package "automake"
  95 package "libproj-dev"
  96 package "libprotobuf-c0-dev"
  97 package "protobuf-c-compiler"
  98 package "python-psycopg2"
  99 package "libboost-dev"
 100 package "libboost-system-dev"
 101 package "libboost-filesystem-dev"
 102 package "libboost-thread-dev"
 103
 104 execute "php-pear-db" do
 105   command "pear install DB"
 106   not_if { File.exist?("/usr/share/php/DB") }
 107 end
 108
 109 execute "compile_nominatim" do
 110   action :nothing
 111   command "cd #{source_directory} && ./autogen.sh && ./configure && make"
 112   user "nominatim"
 113 end
 114
 115 directory "#{source_directory}/log" do
 116   owner "nominatim"
 117   group "nominatim"
 118   mode 0755
 119 end
 120
 121 template "#{source_directory}/.git/hooks/post-merge" do
 122   source "update_source.erb"
 123   owner "nominatim"
 124   group "nominatim"
 125   mode 0755
 126   variables :source_directory => source_directory
 127 end
 128
 129 template "#{source_directory}/settings/local.php" do
 130   source "nominatim.erb"
 131   owner "nominatim"
 132   group "nominatim"
 133   mode 0664
 134   variables :postgres_version => database_version
 135 end
 136
 137 template "#{source_directory}/settings/ip_blocks.conf" do
 138   action :create_if_missing
 139   source "ipblocks.erb"
 140   owner "nominatim"
 141   group "nominatim"
 142   mode 0664
 143 end
 144
 145 file "#{source_directory}/settings/apache_blocks.conf" do
 146   action :create_if_missing
 147   owner "nominatim"
 148   group "nominatim"
 149   mode 0664
 150 end
 151
 152 file "#{source_directory}/settings/ip_blocks.map" do
 153   action :create_if_missing
 154   owner "nominatim"
 155   group "nominatim"
 156   mode 0664
 157 end
 158
 159 if node[:nominatim][:enabled]
 160   cron_action = :create
 161 else
 162   cron_action = :delete
 163 end
 164
 165 template "/etc/cron.d/nominatim" do
 166   action cron_action
 167   source "cron.erb"
 168   owner "root"
 169   group "root"
 170   mode "0644"
 171   variables :bin_directory => "#{source_directory}/utils", :mailto => email_errors
 172 end
 173
 174 template "#{source_directory}/utils/nominatim-update" do
 175   source "updater.erb"
 176   user "nominatim"
 177   group "nominatim"
 178   mode 0755
 179 end
 180
 181 template "/etc/init.d/nominatim-update" do
 182   source "updater.init.erb"
 183   user "nominatim"
 184   group "nominatim"
 185   mode 0755
 186   variables :source_directory => source_directory
 187 end
 188
 189 munin_plugin_conf "nominatim" do
 190   template "munin.erb"
 191 end
 192
 193 munin_plugin "nominatim_importlag" do
 194   target "#{source_directory}/munin/nominatim_importlag"
 195 end
 196
 197 munin_plugin "nominatim_query_speed" do
 198   target "#{source_directory}/munin/nominatim_query_speed_querylog"
 199 end
 200
 201 munin_plugin "nominatim_requests" do
 202   target "#{source_directory}/munin/nominatim_requests_querylog"
 203 end
 204
 205 munin_plugin "nominatim_throttled_ips" do
 206   target "#{source_directory}/munin/nominatim_throttled_ips"
 207 end
 208
 209 external_data = [
 210   "wikipedia_article.sql.bin",
 211   "wikipedia_redirect.sql.bin",
 212   "gb_postcode_data.sql.gz"
 213 ]
 214
 215 external_data.each do |fname|
 216   remote_file "#{source_directory}/data/#{fname}" do
 217     action :create_if_missing
 218     source "http://www.nominatim.org/data/#{fname}"
 219     owner "nominatim"
 220     group "nominatim"
 221     mode 0644
 222   end
 223 end
 224
 225 additional_scripts = %w(backup-nominatim clean-db-nominatim)
 226
 227 additional_scripts.each do |fname|
 228   template "/usr/local/bin/#{fname}" do
 229     source "#{fname}.erb"
 230     owner "root"
 231     group "root"
 232     mode 0755
 233   end
 234 end
 235
 236 directory File.dirname(node[:nominatim][:flatnode_file]) do
 237   owner "nominatim"
 238   group "nominatim"
 239   mode 0755
 240   recursive true
 241 end
 242
 243 directory "/data/postgresql-archive" do
 244   owner "postgres"
 245   group "postgres"
 246   mode 0700
 247   only_if { node[:postgresql][:settings][:defaults][:archive_mode] == "on" }
 248 end
 249
 250 apache_site "nominatim.openstreetmap.org" do
 251   template "apache.erb"
 252   directory source_directory
 253   variables :pools => node[:nominatim][:fpm_pools]
 254 end
 255
 256 apache_site "default" do
 257   action [:disable]
 258 end
 259
 260 fail2ban_filter "nominatim" do
 261   failregex '^<HOST> - - \[[^]]+\] "[^"]+" 429 '
 262 end
 263
 264 fail2ban_jail "nominatim" do
 265   filter "nominatim"
 266   logpath "/var/log/apache2/nominatim.openstreetmap.org-access.log"
 267   ports [80, 443]
 268   maxretry 100
 269 end