cookbooks/overpass/recipes/default.rb

   1 #
   2 # Cookbook:: overpass
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2021, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "apache"
  22 include_recipe "munin"
  23 include_recipe "prometheus"
  24 include_recipe "ruby"
  25
  26 username = "overpass"
  27 basedir = data_bag_item("accounts", username)["home"]
  28 web_passwords = data_bag_item("web", "passwords")
  29
  30 %w[bin site diffs db src].each do |dirname|
  31   directory "#{basedir}/#{dirname}" do
  32     owner username
  33     group username
  34     mode "755"
  35     recursive true
  36   end
  37 end
  38
  39 # FIXME: Remove purge post munin removal
  40 directory "#{basedir}/munin" do
  41   action :delete
  42   recursive true
  43 end
  44
  45 ## Install overpass from source
  46
  47 srcdir = "#{basedir}/src/osm-3s_v#{node[:overpass][:version]}"
  48
  49 package %w[
  50   build-essential
  51   libexpat1-dev
  52   zlib1g-dev
  53   liblz4-dev
  54   pyosmium
  55   osmium-tool
  56 ]
  57
  58 remote_file "#{srcdir}.tar.gz" do
  59   action :create
  60   source "https://dev.overpass-api.de/releases/osm-3s_v#{node[:overpass][:version]}.tar.gz"
  61   owner username
  62   group username
  63   mode "644"
  64 end
  65
  66 execute "source_tarball" do
  67   cwd "#{basedir}/src"
  68   command "tar -xf #{srcdir}.tar.gz"
  69   user username
  70   notifies :run, "execute[install_overpass]"
  71   not_if { ::File.exist?(srcdir) }
  72 end
  73
  74 execute "install_overpass" do
  75   action :nothing
  76   user username
  77   cwd srcdir
  78   command "./configure --enable-lz4 --prefix=#{basedir} && make install"
  79   notifies :restart, "service[overpass-dispatcher]"
  80   notifies :restart, "service[overpass-area-dispatcher]"
  81 end
  82
  83 ## Setup Apache
  84
  85 gem_package "rotp" do
  86   gem_binary node[:ruby][:gem]
  87 end
  88
  89 directory "#{basedir}/apache" do
  90   owner "root"
  91   group "root"
  92   mode "755"
  93 end
  94
  95 template "#{basedir}/apache/totp-filter" do
  96   source "totp-filter.erb"
  97   owner "root"
  98   group "root"
  99   mode "755"
 100   variables :totp_key => web_passwords["totp_key"]
 101 end
 102
 103 ssl_certificate node[:fqdn] do
 104   domains [node[:fqdn],
 105            node[:overpass][:fqdn]]
 106   notifies :reload, "service[apache2]"
 107 end
 108
 109 apache_module "cgi"
 110 apache_module "headers"
 111 apache_module "rewrite"
 112
 113 apache_site "default" do
 114   action :disable
 115 end
 116
 117 apache_site "#{node[:overpass][:fqdn]}" do
 118   template "apache.erb"
 119   directory "#{basedir}/site"
 120   variables :script_directory => "#{basedir}/cgi-bin"
 121 end
 122
 123 ## Overpass deamons
 124
 125 meta_map_short = {
 126   "no" => "",
 127   "meta" => "--meta",
 128   "attic" => "--attic"
 129 }
 130
 131 logdir = node[:overpass][:logdir]
 132
 133 directory logdir do
 134   owner username
 135   group username
 136   mode "755"
 137   recursive true
 138 end
 139
 140 %w[overpass-update-db overpass-update-areas].each do |fname|
 141   template "#{basedir}/bin/#{fname}" do
 142     source "#{fname}.erb"
 143     owner "overpass"
 144     group "overpass"
 145     mode "700"
 146     variables :basedir => basedir, :srcdir => srcdir
 147   end
 148 end
 149
 150 template "#{basedir}/bin/overpass-import-db" do
 151   source "overpass-import-db.erb"
 152   owner "root"
 153   group "root"
 154   mode "755"
 155   variables :basedir => basedir, :username => username, :srcdir => srcdir
 156 end
 157
 158 systemd_service "overpass-dispatcher" do
 159   description "Overpass Main Dispatcher"
 160   wants ["overpass-area-dispatcher.service"]
 161   working_directory basedir
 162   exec_start "#{basedir}/bin/dispatcher --osm-base #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db --rate-limit=#{node[:overpass][:rate_limit]} --space=#{node[:overpass][:dispatcher_space]}"
 163   exec_stop "#{basedir}/bin/dispatcher --osm-base --terminate"
 164   standard_output "append:#{logdir}/osm_base.log"
 165   user username
 166 end
 167
 168 service "overpass-dispatcher" do
 169   action [:enable]
 170 end
 171
 172 systemd_service "overpass-area-dispatcher" do
 173   description "Overpass Area Dispatcher"
 174   after ["overpass-dispatcher.service"]
 175   working_directory basedir
 176   exec_start "#{basedir}/bin/dispatcher --areas #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db"
 177   exec_stop "#{basedir}/bin/dispatcher --areas --terminate"
 178   standard_output "append:#{logdir}/areas.log"
 179   user username
 180 end
 181
 182 service "overpass-area-dispatcher" do
 183   action [:enable]
 184 end
 185
 186 systemd_service "overpass-update" do
 187   description "Overpass Update Application"
 188   after ["overpass-dispatcher.service"]
 189   wants ["overpass-area-processor.service"]
 190   working_directory basedir
 191   exec_start "#{basedir}/bin/overpass-update-db"
 192   standard_output "append:#{logdir}/update.log"
 193   user username
 194   restart "on-success"
 195 end
 196
 197 if node[:overpass][:meta_mode] == "attic"
 198   systemd_service "overpass-area-processor" do
 199     description "Overpass Area Processor"
 200     after ["overpass-area-dispatcher.service", "overpass-update.service"]
 201     working_directory basedir
 202     exec_start "#{basedir}/bin/overpass-update-areas"
 203     standard_output "append:#{logdir}/area-processor.log"
 204     restart "on-success"
 205     nice 19
 206     user username
 207   end
 208 else
 209   systemd_service "overpass-area-processor" do
 210     description "Overpass Area Processor"
 211     after ["overpass-area-dispatcher.service", "overpass-update.service"]
 212     working_directory basedir
 213     exec_start "#{basedir}/bin/osm3s_query --progress --rules"
 214     standard_input "file:#{srcdir}/rules/areas.osm3s"
 215     standard_output "append:#{logdir}/area-processor.log"
 216     restart "on-success"
 217     nice 19
 218     user username
 219   end
 220 end
 221
 222 systemd_timer "overpass-area-processor" do
 223   action :delete
 224 end
 225
 226 service "overpass-area-processor" do
 227   action [:disable]
 228 end
 229
 230 template "/etc/logrotate.d/overpass" do
 231   source "logrotate.erb"
 232   owner "root"
 233   group "root"
 234   mode "644"
 235   variables :logdir => logdir
 236 end
 237
 238 prometheus_exporter "overpass" do
 239   port 9898
 240   user username
 241   restrict_address_families "AF_UNIX"
 242   options [
 243     "--overpass.base-directory=#{basedir}"
 244   ]
 245 end