cookbooks/prometheus/recipes/server.rb

   1 #
   2 # Cookbook:: prometheus
   3 # Recipe:: server
   4 #
   5 # Copyright:: 2020, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "apache"
  21 include_recipe "apt"
  22 include_recipe "networking"
  23 include_recipe "timescaledb"
  24
  25 passwords = data_bag_item("prometheus", "passwords")
  26 tokens = data_bag_item("prometheus", "tokens")
  27
  28 prometheus_exporter "fastly" do
  29   port 8080
  30   listen_switch "endpoint"
  31   listen_type "url"
  32   environment "FASTLY_API_TOKEN" => tokens["fastly"]
  33 end
  34
  35 package %w[
  36   prometheus
  37   prometheus-alertmanager
  38 ]
  39
  40 promscale_version = "0.6.2"
  41
  42 database_version = node[:timescaledb][:database_version]
  43 database_cluster = "#{database_version}/main"
  44
  45 postgresql_user "prometheus" do
  46   cluster database_cluster
  47   superuser true
  48 end
  49
  50 postgresql_database "promscale" do
  51   cluster database_cluster
  52   owner "prometheus"
  53 end
  54
  55 directory "/opt/promscale" do
  56   owner "root"
  57   group "root"
  58   mode "755"
  59 end
  60
  61 cookbook_file "/usr/lib/postgresql/#{database_version}/lib/promscale.so" do
  62   source "postgresql-#{database_version}-promscale.so"
  63   owner "root"
  64   group "root"
  65   mode "644"
  66 end
  67
  68 directory "/opt/promscale/bin" do
  69   owner "root"
  70   group "root"
  71   mode "755"
  72 end
  73
  74 remote_file "/opt/promscale/bin/promscale" do
  75   action :create
  76   source "https://github.com/timescale/promscale/releases/download/#{promscale_version}/promscale_#{promscale_version}_Linux_x86_64"
  77   owner "root"
  78   group "root"
  79   mode "755"
  80 end
  81
  82 systemd_service "promscale" do
  83   description "Promscale Connector"
  84   type "simple"
  85   user "prometheus"
  86   exec_start "/opt/promscale/bin/promscale --db-uri postgresql:///promscale?host=/run/postgresql&port=5432 --db-connections-max 400"
  87   # exec_start lazy { "/opt/promscale/bin/promscale --db-host /run/postgresql --db-port #{node[:postgresql][:clusters][database_cluster][:port]} --db-user prometheus --db-name promscale --db-max-connections 400" }
  88   limit_nofile 16384
  89   private_tmp true
  90   protect_system "strict"
  91   protect_home true
  92   no_new_privileges true
  93 end
  94
  95 systemd_service "promscale-maintenance" do
  96   description "Promscale Maintenance"
  97   type "simple"
  98   user "prometheus"
  99   exec_start "/usr/bin/psql --command='CALL prom_api.execute_maintenance()' promscale"
 100   private_tmp true
 101   protect_system "strict"
 102   protect_home true
 103   no_new_privileges true
 104 end
 105
 106 systemd_timer "promscale-maintenance" do
 107   description "Promscale Maintenace"
 108   on_active_sec 1800
 109   on_unit_inactive_sec 1800
 110 end
 111
 112 if node[:prometheus][:promscale]
 113   service "promscale" do
 114     action [:enable, :start]
 115     subscribes :restart, "remote_file[/opt/promscale/bin/promscale]"
 116     subscribes :restart, "systemd_service[promscale]"
 117   end
 118
 119   service "promscale-maintenance.timer" do
 120     action [:enable, :start]
 121   end
 122 else
 123   service "promscale" do
 124     action [:disable, :stop]
 125   end
 126
 127   service "promscale-maintenance.timer" do
 128     action [:disable, :stop]
 129   end
 130 end
 131
 132 search(:node, "roles:gateway") do |gateway|
 133   allowed_ips = gateway.interfaces(:role => :internal).map do |interface|
 134     "#{interface[:network]}/#{interface[:prefix]}"
 135   end
 136
 137   node.default[:networking][:wireguard][:peers] << {
 138     :public_key => gateway[:networking][:wireguard][:public_key],
 139     :allowed_ips => allowed_ips,
 140     :endpoint => "#{gateway.name}:51820"
 141   }
 142 end
 143
 144 jobs = {}
 145 snmp_targets = []
 146
 147 search(:node, "recipes:prometheus\\:\\:default").sort_by(&:name).each do |client|
 148   if client[:prometheus][:mode] == "wireguard"
 149     node.default[:networking][:wireguard][:peers] << {
 150       :public_key => client[:networking][:wireguard][:public_key],
 151       :allowed_ips => client[:networking][:wireguard][:address],
 152       :endpoint => "#{client.name}:51820"
 153     }
 154   end
 155
 156   client[:prometheus][:exporters].each do |key, exporter|
 157     if exporter.is_a?(Hash)
 158       name = exporter[:name]
 159       address = exporter[:address]
 160       metric_relabel = exporter[:metric_relabel] || []
 161     else
 162       name = key
 163       address = exporter
 164       metric_relabel = []
 165     end
 166
 167     jobs[name] ||= []
 168     jobs[name] << {
 169       :address => address,
 170       :instance => client.name.split(".").first,
 171       :metric_relabel => metric_relabel
 172     }
 173   end
 174
 175   Hash(client[:prometheus][:snmp]).each do |instance, details|
 176     snmp_targets << {
 177       :instance => instance,
 178       :target => details[:address],
 179       :module => details[:module],
 180       :address => client[:prometheus][:addresses]["snmp"],
 181       :labels => Array(details[:labels])
 182     }
 183   end
 184 end
 185
 186 certificates = search(:node, "letsencrypt:certificates").each_with_object({}) do |n, c|
 187   n[:letsencrypt][:certificates].each do |name, details|
 188     c[name] ||= details.merge(:nodes => [])
 189
 190     c[name][:nodes] << {
 191       :name => n[:fqdn],
 192       :address => n.external_ipaddress || n.internal_ipaddress
 193     }
 194   end
 195 end
 196
 197 template "/etc/prometheus/ssl.yml" do
 198   source "ssl.yml.erb"
 199   owner "root"
 200   group "root"
 201   mode "644"
 202   variables :certificates => certificates
 203 end
 204
 205 prometheus_exporter "ssl" do
 206   address "127.0.0.1"
 207   port 9219
 208   options "--config.file=/etc/prometheus/ssl.yml"
 209   register_target false
 210 end
 211
 212 template "/etc/default/prometheus" do
 213   source "default.prometheus.erb"
 214   owner "root"
 215   group "root"
 216   mode "644"
 217 end
 218
 219 template "/etc/prometheus/prometheus.yml" do
 220   source "prometheus.yml.erb"
 221   owner "root"
 222   group "root"
 223   mode "644"
 224   variables :jobs => jobs, :snmp_targets => snmp_targets, :certificates => certificates
 225 end
 226
 227 template "/etc/prometheus/alert_rules.yml" do
 228   source "alert_rules.yml.erb"
 229   owner "root"
 230   group "root"
 231   mode "644"
 232 end
 233
 234 service "prometheus" do
 235   action [:enable, :start]
 236   subscribes :restart, "template[/etc/default/prometheus]"
 237   subscribes :reload, "template[/etc/prometheus/prometheus.yml]"
 238   subscribes :reload, "template[/etc/prometheus/alert_rules.yml]"
 239 end
 240
 241 template "/etc/default/prometheus-alertmanager" do
 242   source "default.alertmanager.erb"
 243   owner "root"
 244   group "root"
 245   mode "644"
 246 end
 247
 248 template "/etc/prometheus/alertmanager.yml" do
 249   source "alertmanager.yml.erb"
 250   owner "root"
 251   group "root"
 252   mode "644"
 253 end
 254
 255 service "prometheus-alertmanager" do
 256   action [:enable, :start]
 257   subscribes :restart, "template[/etc/default/prometheus-alertmanager]"
 258   subscribes :reload, "template[/etc/prometheus/alertmanager.yml]"
 259 end
 260
 261 template "/etc/prometheus/amtool.yml" do
 262   source "amtool.yml.erb"
 263   owner "root"
 264   group "root"
 265   mode "644"
 266 end
 267
 268 package "grafana-enterprise"
 269
 270 template "/etc/grafana/grafana.ini" do
 271   source "grafana.ini.erb"
 272   owner "root"
 273   group "grafana"
 274   mode "640"
 275   variables :passwords => passwords
 276 end
 277
 278 service "grafana-server" do
 279   action [:enable, :start]
 280   subscribes :restart, "template[/etc/grafana/grafana.ini]"
 281 end
 282
 283 apache_module "alias"
 284 apache_module "proxy_http"
 285
 286 ssl_certificate "prometheus.openstreetmap.org" do
 287   domains ["prometheus.openstreetmap.org", "prometheus.osm.org"]
 288   notifies :reload, "service[apache2]"
 289 end
 290
 291 apache_site "prometheus.openstreetmap.org" do
 292   template "apache.erb"
 293 end
 294
 295 template "/etc/cron.daily/prometheus-backup" do
 296   source "backup.cron.erb"
 297   owner "root"
 298   group "root"
 299   mode "750"
 300 end