cookbooks/overpass/recipes/default.rb

   1 #
   2 # Cookbook:: overpass
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2021, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "munin"
  22 include_recipe "apache"
  23
  24 username = "overpass"
  25 basedir = data_bag_item("accounts", username)["home"]
  26 web_passwords = data_bag_item("web", "passwords")
  27
  28 %w[bin site diffs db src munin].each do |dirname|
  29   directory "#{basedir}/#{dirname}" do
  30     owner username
  31     group username
  32     mode "755"
  33     recursive true
  34   end
  35 end
  36
  37 ## Install overpass from source
  38
  39 srcdir = "#{basedir}/src/osm-3s_v#{node[:overpass][:version]}"
  40
  41 package %w[
  42   build-essential
  43   libexpat1-dev
  44   zlib1g-dev
  45   liblz4-dev
  46   pyosmium
  47   osmium-tool
  48 ]
  49
  50 remote_file "#{srcdir}.tar.gz" do
  51   action :create
  52   source "https://dev.overpass-api.de/releases/osm-3s_v#{node[:overpass][:version]}.tar.gz"
  53   owner username
  54   group username
  55   mode "644"
  56 end
  57
  58 execute "source_tarball" do
  59   cwd "#{basedir}/src"
  60   command "tar -xf #{srcdir}.tar.gz"
  61   user username
  62   notifies :run, "execute[install_overpass]"
  63   not_if { ::File.exist?(srcdir) }
  64 end
  65
  66 execute "install_overpass" do
  67   action :nothing
  68   user username
  69   cwd srcdir
  70   command "./configure --enable-lz4 --prefix=#{basedir} && make install"
  71 end
  72
  73 ## Setup Apache
  74
  75 gem_package "rotp"
  76
  77 directory "#{basedir}/apache" do
  78   owner "root"
  79   group "root"
  80   mode "755"
  81 end
  82
  83 template "#{basedir}/apache/totp-filter" do
  84   source "totp-filter.erb"
  85   owner "root"
  86   group "root"
  87   mode "755"
  88   variables :totp_key => web_passwords["totp_key"]
  89 end
  90
  91 ssl_certificate node[:fqdn] do
  92   domains [node[:fqdn],
  93            node[:overpass][:fqdn]]
  94   notifies :reload, "service[apache2]"
  95 end
  96
  97 apache_module "cgi"
  98 apache_module "headers"
  99 apache_module "rewrite"
 100
 101 apache_site "default" do
 102   action :disable
 103 end
 104
 105 apache_site "#{node[:overpass][:fqdn]}" do
 106   template "apache.erb"
 107   directory "#{basedir}/site"
 108   variables :script_directory => "#{basedir}/cgi-bin"
 109 end
 110
 111 ## Overpass deamons
 112
 113 meta_map_short = {
 114   "no" => "",
 115   "meta" => "--meta",
 116   "attic" => "--attic"
 117 }
 118
 119 logdir = node[:overpass][:logdir]
 120
 121 directory logdir do
 122   owner username
 123   group username
 124   mode "755"
 125   recursive true
 126 end
 127
 128 %w[overpass-update-db overpass-update-areas].each do |fname|
 129   template "#{basedir}/bin/#{fname}" do
 130     source "#{fname}.erb"
 131     owner "overpass"
 132     group "overpass"
 133     mode "700"
 134     variables :basedir => basedir, :srcdir => srcdir
 135   end
 136 end
 137
 138 template "#{basedir}/bin/overpass-import-db" do
 139   source "overpass-import-db.erb"
 140   owner "root"
 141   group "root"
 142   mode "755"
 143   variables :basedir => basedir, :username => username, :srcdir => srcdir
 144 end
 145
 146 systemd_service "overpass-dispatcher" do
 147   description "Overpass Main Dispatcher"
 148   working_directory basedir
 149   exec_start "#{basedir}/bin/dispatcher --osm-base #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db --rate-limit=#{node[:overpass][:rate_limit]} --space=#{node[:overpass][:dispatcher_space]}"
 150   exec_stop "#{basedir}/bin/dispatcher --osm-base --terminate"
 151   standard_output "append:#{logdir}/osm_base.log"
 152   user username
 153 end
 154
 155 service "overpass-dispatcher" do
 156   action [:enable]
 157 end
 158
 159 systemd_service "overpass-area-dispatcher" do
 160   description "Overpass Area Dispatcher"
 161   after ["overpass-dispatcher"]
 162   working_directory basedir
 163   exec_start "#{basedir}/bin/dispatcher --areas #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db"
 164   exec_stop "#{basedir}/bin/dispatcher --areas --terminate"
 165   standard_output "append:#{logdir}/areas.log"
 166   user username
 167 end
 168
 169 service "overpass-area-dispatcher" do
 170   action [:enable]
 171 end
 172
 173 systemd_service "overpass-update" do
 174   description "Overpass Update Application"
 175   after ["overpass-dispatcher"]
 176   working_directory basedir
 177   exec_start "#{basedir}/bin/overpass-update-db"
 178   standard_output "append:#{logdir}/update.log"
 179   user username
 180 end
 181
 182 if node[:overpass][:meta_mode] == "attic"
 183   systemd_service "overpass-area-processor" do
 184     description "Overpass Area Processor"
 185     after ["overpass-area-dispatcher"]
 186     working_directory basedir
 187     exec_start "#{basedir}/bin/overpass-update-areas"
 188     standard_output "append:#{logdir}/area-processor.log"
 189     nice 19
 190     user username
 191   end
 192 else
 193   systemd_service "overpass-area-processor" do
 194     description "Overpass Area Processor"
 195     after ["overpass-area-dispatcher"]
 196     working_directory basedir
 197     exec_start "#{basedir}/bin/osm3s_query --progress --rules"
 198     standard_input "file:#{srcdir}/rules/areas.osm3s"
 199     standard_output "append:#{logdir}/area-processor.log"
 200     nice 19
 201     user username
 202   end
 203 end
 204
 205 systemd_timer "overpass-area-processor" do
 206   description "Update areas in Overpass"
 207   on_calendar "*-*-* *:*:00"
 208 end
 209
 210 service "overpass-area-processor" do
 211   action [:enable]
 212 end
 213
 214 # Munin scripts
 215
 216 %w[db_lag request_count].each do |name|
 217   template "#{basedir}/munin/overpass_#{name}" do
 218     source "munin_#{name}.erb"
 219     owner username
 220     group username
 221     mode "755"
 222     variables :basedir => basedir
 223   end
 224
 225   munin_plugin "overpass_#{name}" do
 226     target "#{basedir}/munin/overpass_#{name}"
 227     conf "munin.erb"
 228     conf_variables :user => username
 229   end
 230 end