cookbooks/overpass/recipes/default.rb

   1 #
   2 # Cookbook:: overpass
   3 # Recipe:: default
   4 #
   5 # Copyright:: 2021, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "apache"
  22 include_recipe "prometheus"
  23 include_recipe "ruby"
  24
  25 username = "overpass"
  26 basedir = data_bag_item("accounts", username)["home"]
  27 web_passwords = data_bag_item("web", "passwords")
  28
  29 %w[bin site diffs db src].each do |dirname|
  30   directory "#{basedir}/#{dirname}" do
  31     owner username
  32     group username
  33     mode "755"
  34     recursive true
  35   end
  36 end
  37
  38 ## Install overpass from source
  39
  40 srcdir = "#{basedir}/src/osm-3s_v#{node[:overpass][:version]}"
  41
  42 package %w[
  43   build-essential
  44   libexpat1-dev
  45   zlib1g-dev
  46   liblz4-dev
  47   pyosmium
  48   osmium-tool
  49 ]
  50
  51 remote_file "#{srcdir}.tar.gz" do
  52   action :create
  53   source "https://dev.overpass-api.de/releases/osm-3s_v#{node[:overpass][:version]}.tar.gz"
  54   owner username
  55   group username
  56   mode "644"
  57 end
  58
  59 execute "source_tarball" do
  60   cwd "#{basedir}/src"
  61   command "tar -xf #{srcdir}.tar.gz"
  62   user username
  63   notifies :run, "execute[install_overpass]"
  64   not_if { ::File.exist?(srcdir) }
  65 end
  66
  67 execute "install_overpass" do
  68   action :nothing
  69   user username
  70   cwd srcdir
  71   command "./configure --enable-lz4 --prefix=#{basedir} && make install"
  72   notifies :restart, "service[overpass-dispatcher]"
  73   notifies :restart, "service[overpass-area-dispatcher]"
  74 end
  75
  76 ## Setup Apache
  77
  78 gem_package "rotp" do
  79   gem_binary node[:ruby][:gem]
  80 end
  81
  82 directory "#{basedir}/apache" do
  83   owner "root"
  84   group "root"
  85   mode "755"
  86 end
  87
  88 template "#{basedir}/apache/totp-filter" do
  89   source "totp-filter.erb"
  90   owner "root"
  91   group "root"
  92   mode "755"
  93   variables :totp_key => web_passwords["totp_key"]
  94 end
  95
  96 ssl_certificate node[:fqdn] do
  97   domains [node[:fqdn],
  98            node[:overpass][:fqdn]]
  99   notifies :reload, "service[apache2]"
 100 end
 101
 102 apache_module "cgi"
 103 apache_module "headers"
 104 apache_module "rewrite"
 105
 106 apache_site "default" do
 107   action :disable
 108 end
 109
 110 apache_site "#{node[:overpass][:fqdn]}" do
 111   template "apache.erb"
 112   directory "#{basedir}/site"
 113   variables :script_directory => "#{basedir}/cgi-bin"
 114 end
 115
 116 ## Overpass deamons
 117
 118 meta_map_short = {
 119   "no" => "",
 120   "meta" => "--meta",
 121   "attic" => "--attic"
 122 }
 123
 124 logdir = node[:overpass][:logdir]
 125
 126 directory logdir do
 127   owner username
 128   group username
 129   mode "755"
 130   recursive true
 131 end
 132
 133 %w[overpass-update-db overpass-update-areas].each do |fname|
 134   template "#{basedir}/bin/#{fname}" do
 135     source "#{fname}.erb"
 136     owner "overpass"
 137     group "overpass"
 138     mode "700"
 139     variables :basedir => basedir, :srcdir => srcdir
 140   end
 141 end
 142
 143 template "#{basedir}/bin/overpass-import-db" do
 144   source "overpass-import-db.erb"
 145   owner "root"
 146   group "root"
 147   mode "755"
 148   variables :basedir => basedir, :username => username, :srcdir => srcdir
 149 end
 150
 151 systemd_service "overpass-dispatcher" do
 152   description "Overpass Main Dispatcher"
 153   wants ["overpass-area-dispatcher.service"]
 154   working_directory basedir
 155   exec_start "#{basedir}/bin/dispatcher --osm-base #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db --rate-limit=#{node[:overpass][:rate_limit]} --space=#{node[:overpass][:dispatcher_space]}"
 156   exec_stop "#{basedir}/bin/dispatcher --osm-base --terminate"
 157   standard_output "append:#{logdir}/osm_base.log"
 158   user username
 159 end
 160
 161 service "overpass-dispatcher" do
 162   action [:enable]
 163 end
 164
 165 systemd_service "overpass-area-dispatcher" do
 166   description "Overpass Area Dispatcher"
 167   after ["overpass-dispatcher.service"]
 168   working_directory basedir
 169   exec_start "#{basedir}/bin/dispatcher --areas #{meta_map_short[node[:overpass][:meta_mode]]} --db-dir=#{basedir}/db"
 170   exec_stop "#{basedir}/bin/dispatcher --areas --terminate"
 171   standard_output "append:#{logdir}/areas.log"
 172   user username
 173 end
 174
 175 service "overpass-area-dispatcher" do
 176   action [:enable]
 177 end
 178
 179 systemd_service "overpass-update" do
 180   description "Overpass Update Application"
 181   after ["overpass-dispatcher.service"]
 182   wants ["overpass-area-processor.service"]
 183   working_directory basedir
 184   exec_start "#{basedir}/bin/overpass-update-db"
 185   standard_output "append:#{logdir}/update.log"
 186   user username
 187   restart "on-success"
 188 end
 189
 190 if node[:overpass][:meta_mode] == "attic"
 191   systemd_service "overpass-area-processor" do
 192     description "Overpass Area Processor"
 193     after ["overpass-area-dispatcher.service", "overpass-update.service"]
 194     working_directory basedir
 195     exec_start "#{basedir}/bin/overpass-update-areas"
 196     standard_output "append:#{logdir}/area-processor.log"
 197     restart "on-success"
 198     nice 19
 199     user username
 200   end
 201 else
 202   systemd_service "overpass-area-processor" do
 203     description "Overpass Area Processor"
 204     after ["overpass-area-dispatcher.service", "overpass-update.service"]
 205     working_directory basedir
 206     exec_start "#{basedir}/bin/osm3s_query --progress --rules"
 207     standard_input "file:#{srcdir}/rules/areas.osm3s"
 208     standard_output "append:#{logdir}/area-processor.log"
 209     restart "on-success"
 210     nice 19
 211     user username
 212   end
 213 end
 214
 215 systemd_timer "overpass-area-processor" do
 216   action :delete
 217 end
 218
 219 service "overpass-area-processor" do
 220   action [:disable]
 221 end
 222
 223 template "/etc/logrotate.d/overpass" do
 224   source "logrotate.erb"
 225   owner "root"
 226   group "root"
 227   mode "644"
 228   variables :logdir => logdir
 229 end
 230
 231 prometheus_exporter "overpass" do
 232   port 9898
 233   user username
 234   restrict_address_families "AF_UNIX"
 235   options [
 236     "--overpass.base-directory=#{basedir}"
 237   ]
 238 end