cookbooks/prometheus/recipes/server.rb

   1 #
   2 # Cookbook:: prometheus
   3 # Recipe:: server
   4 #
   5 # Copyright:: 2020, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "apache"
  21 include_recipe "apt"
  22 include_recipe "networking"
  23 include_recipe "timescaledb"
  24
  25 passwords = data_bag_item("prometheus", "passwords")
  26 tokens = data_bag_item("prometheus", "tokens")
  27
  28 prometheus_exporter "fastly" do
  29   port 8080
  30   listen_switch "endpoint"
  31   listen_type "url"
  32   environment "FASTLY_API_TOKEN" => tokens["fastly"]
  33 end
  34
  35 package %w[
  36   prometheus
  37   prometheus-alertmanager
  38 ]
  39
  40 promscale_version = "0.1.4"
  41
  42 database_cluster = node[:timescaledb][:cluster]
  43
  44 postgresql_user "prometheus" do
  45   cluster database_cluster
  46   createrole true
  47 end
  48
  49 postgresql_database "promscale" do
  50   cluster database_cluster
  51   owner "prometheus"
  52 end
  53
  54 postgresql_extension "timescaledb" do
  55   cluster database_cluster
  56   database "promscale"
  57 end
  58
  59 directory "/opt/promscale" do
  60   owner "root"
  61   group "root"
  62   mode "755"
  63 end
  64
  65 package %w[
  66   make
  67   gcc
  68   clang-9
  69   llvm-9
  70   cargo
  71 ]
  72
  73 git "/opt/promscale/extension" do
  74   action :sync
  75   repository "https://github.com/timescale/promscale_extension.git"
  76   revision "0.1.1"
  77   user "root"
  78   group "root"
  79 end
  80
  81 execute "/opt/promscale/extension/Makefile" do
  82   action :nothing
  83   command "make install"
  84   cwd "/opt/promscale/extension"
  85   user "root"
  86   group "root"
  87   subscribes :run, "git[/opt/promscale/extension]", :immediately
  88   notifies :restart, "service[postgresql]", :immediately
  89 end
  90
  91 directory "/opt/promscale/bin" do
  92   owner "root"
  93   group "root"
  94   mode "755"
  95 end
  96
  97 remote_file "/opt/promscale/bin/promscale" do
  98   action :create
  99   source "https://github.com/timescale/promscale/releases/download/#{promscale_version}/promscale_#{promscale_version}_Linux_x86_64"
 100   owner "root"
 101   group "root"
 102   mode "755"
 103 end
 104
 105 systemd_service "promscale" do
 106   description "Promscale Connector"
 107   type "simple"
 108   user "prometheus"
 109   exec_start "/opt/promscale/bin/promscale --db-host /run/postgresql --db-port 5432 --db-user prometheus --db-name promscale --db-connections-max 400"
 110   # exec_start lazy { "/opt/promscale/bin/promscale --db-host /run/postgresql --db-port #{node[:postgresql][:clusters][database_cluster][:port]} --db-user prometheus --db-name promscale --db-max-connections 400" }
 111   limit_nofile 16384
 112   private_tmp true
 113   protect_system "strict"
 114   protect_home true
 115   no_new_privileges true
 116 end
 117
 118 service "promscale" do
 119   action [:enable, :start]
 120   subscribes :restart, "remote_file[/opt/promscale/bin/promscale]"
 121   subscribes :restart, "systemd_service[promscale]"
 122 end
 123
 124 postgresql_extension "promscale" do
 125   cluster database_cluster
 126   database "promscale"
 127   notifies :restart, "service[promscale]"
 128 end
 129
 130 systemd_service "promscale-maintenance" do
 131   description "Promscale Maintenace"
 132   type "simple"
 133   user "prometheus"
 134   exec_start "/usr/bin/psql --command='CALL prom_api.execute_maintenance()' promscale"
 135   private_tmp true
 136   protect_system "strict"
 137   protect_home true
 138   no_new_privileges true
 139 end
 140
 141 systemd_timer "promscale-maintenance" do
 142   description "Promscale Maintenace"
 143   on_active_sec 1800
 144   on_unit_inactive_sec 1800
 145 end
 146
 147 service "promscale-maintenance.timer" do
 148   action [:enable, :start]
 149 end
 150
 151 jobs = {}
 152
 153 search(:node, "roles:gateway") do |gateway|
 154   allowed_ips = gateway.interfaces(:role => :internal).map do |interface|
 155     "#{interface[:network]}/#{interface[:prefix]}"
 156   end
 157
 158   node.default[:networking][:wireguard][:peers] << {
 159     :public_key => gateway[:networking][:wireguard][:public_key],
 160     :allowed_ips => allowed_ips,
 161     :endpoint => "#{gateway.name}:51820"
 162   }
 163 end
 164
 165 search(:node, "recipes:prometheus\\:\\:default").sort_by(&:name).each do |client|
 166   if client[:prometheus][:mode] == "wireguard"
 167     node.default[:networking][:wireguard][:peers] << {
 168       :public_key => client[:networking][:wireguard][:public_key],
 169       :allowed_ips => client[:networking][:wireguard][:address],
 170       :endpoint => "#{client.name}:51820"
 171     }
 172   end
 173
 174   client[:prometheus][:exporters].each do |key, exporter|
 175     if exporter.is_a?(Hash)
 176       name = exporter[:name]
 177       address = exporter[:address]
 178       metric_relabel = exporter[:metric_relabel] || []
 179     else
 180       name = key
 181       address = exporter
 182       metric_relabel = []
 183     end
 184
 185     jobs[name] ||= []
 186     jobs[name] << {
 187       :address => address,
 188       :instance => client.name.split(".").first,
 189       :metric_relabel => metric_relabel
 190     }
 191   end
 192 end
 193
 194 template "/etc/default/prometheus" do
 195   source "default.prometheus.erb"
 196   owner "root"
 197   group "root"
 198   mode "644"
 199 end
 200
 201 template "/etc/prometheus/prometheus.yml" do
 202   source "prometheus.yml.erb"
 203   owner "root"
 204   group "root"
 205   mode "644"
 206   variables :jobs => jobs
 207 end
 208
 209 template "/etc/prometheus/alert_rules.yml" do
 210   source "alert_rules.yml.erb"
 211   owner "root"
 212   group "root"
 213   mode "644"
 214 end
 215
 216 service "prometheus" do
 217   action [:enable, :start]
 218   subscribes :restart, "template[/etc/default/prometheus]"
 219   subscribes :reload, "template[/etc/prometheus/prometheus.yml]"
 220   subscribes :reload, "template[/etc/prometheus/alert_rules.yml]"
 221 end
 222
 223 template "/etc/default/prometheus-alertmanager" do
 224   source "default.alertmanager.erb"
 225   owner "root"
 226   group "root"
 227   mode "644"
 228 end
 229
 230 template "/etc/prometheus/alertmanager.yml" do
 231   source "alertmanager.yml.erb"
 232   owner "root"
 233   group "root"
 234   mode "644"
 235 end
 236
 237 service "prometheus-alertmanager" do
 238   action [:enable, :start]
 239   subscribes :restart, "template[/etc/default/prometheus-alertmanager]"
 240   subscribes :reload, "template[/etc/prometheus/alertmanager.yml]"
 241 end
 242
 243 template "/etc/prometheus/amtool.yml" do
 244   source "amtool.yml.erb"
 245   owner "root"
 246   group "root"
 247   mode "644"
 248 end
 249
 250 package "grafana-enterprise"
 251
 252 template "/etc/grafana/grafana.ini" do
 253   source "grafana.ini.erb"
 254   owner "root"
 255   group "grafana"
 256   mode "640"
 257   variables :passwords => passwords
 258 end
 259
 260 service "grafana-server" do
 261   action [:enable, :start]
 262   subscribes :restart, "template[/etc/grafana/grafana.ini]"
 263 end
 264
 265 apache_module "alias"
 266 apache_module "proxy_http"
 267
 268 ssl_certificate "prometheus.openstreetmap.org" do
 269   domains ["prometheus.openstreetmap.org", "prometheus.osm.org"]
 270   notifies :reload, "service[apache2]"
 271 end
 272
 273 apache_site "prometheus.openstreetmap.org" do
 274   template "apache.erb"
 275 end
 276
 277 template "/etc/cron.daily/prometheus-backup" do
 278   source "backup.cron.erb"
 279   owner "root"
 280   group "root"
 281   mode "750"
 282 end