cookbooks/db/recipes/base.rb

   1 #
   2 # Cookbook:: db
   3 # Recipe:: base
   4 #
   5 # Copyright:: 2011, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 #     https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 include_recipe "accounts"
  21 include_recipe "git"
  22 include_recipe "postgresql"
  23 include_recipe "python"
  24 include_recipe "ruby"
  25
  26 passwords = data_bag_item("db", "passwords")
  27 wal_secrets = data_bag_item("db", "wal-secrets")
  28
  29 postgresql_munin "openstreetmap" do
  30   cluster node[:db][:cluster]
  31   database "openstreetmap"
  32 end
  33
  34 directory "/srv/www.openstreetmap.org" do
  35   group "rails"
  36   mode "2775"
  37 end
  38
  39 rails_port "www.openstreetmap.org" do
  40   directory "/srv/www.openstreetmap.org/rails"
  41   user "rails"
  42   group "rails"
  43   repository "https://git.openstreetmap.org/public/rails.git"
  44   revision "live"
  45   build_assets false
  46   database_host "localhost"
  47   database_name "openstreetmap"
  48   database_username "openstreetmap"
  49   database_password passwords["openstreetmap"]
  50 end
  51
  52 package %w[
  53   cmake
  54   libosmium2-dev
  55   libprotozero-dev
  56   libboost-filesystem-dev
  57   libboost-program-options-dev
  58   libbz2-dev
  59   zlib1g-dev
  60   libexpat1-dev
  61   libyaml-cpp-dev
  62   libpqxx-dev
  63 ]
  64
  65 git "/opt/osmdbt" do
  66   action :sync
  67   repository "https://github.com/openstreetmap/osmdbt.git"
  68   revision "v0.5"
  69   depth 1
  70   user "root"
  71   group "root"
  72 end
  73
  74 node[:postgresql][:versions].each do |db_version|
  75   pg_config = "/usr/lib/postgresql/#{db_version}/bin/pg_config"
  76   function_directory = "/srv/www.openstreetmap.org/rails/db/functions/#{db_version}"
  77
  78   directory function_directory do
  79     owner "rails"
  80     group "rails"
  81     mode "755"
  82   end
  83
  84   execute function_directory do
  85     action :nothing
  86     command "make BUNDLE=#{node[:ruby][:bundle]} PG_CONFIG=#{pg_config} DESTDIR=#{function_directory}"
  87     cwd "/srv/www.openstreetmap.org/rails/db/functions"
  88     user "rails"
  89     group "rails"
  90     subscribes :run, "directory[#{function_directory}]"
  91     subscribes :run, "git[/srv/www.openstreetmap.org/rails]"
  92   end
  93
  94   link "/usr/lib/postgresql/#{db_version}/lib/libpgosm.so" do
  95     to "#{function_directory}/libpgosm.so"
  96     owner "root"
  97     group "root"
  98   end
  99
 100   directory "/opt/osmdbt/build-#{db_version}" do
 101     owner "root"
 102     group "root"
 103     mode "755"
 104   end
 105
 106   execute "/opt/osmdbt/build-#{db_version}" do
 107     action :nothing
 108     command "cmake -DPG_CONFIG=/usr/lib/postgresql/#{db_version}/bin/pg_config .."
 109     cwd "/opt/osmdbt/build-#{db_version}"
 110     user "root"
 111     group "root"
 112     subscribes :run, "directory[/opt/osmdbt/build-#{db_version}]"
 113     subscribes :run, "git[/opt/osmdbt]"
 114   end
 115
 116   execute "/opt/osmdbt/build-#{db_version}/postgresql-plugin/Makefile" do
 117     action :nothing
 118     command "make"
 119     cwd "/opt/osmdbt/build-#{db_version}/postgresql-plugin"
 120     user "root"
 121     group "root"
 122     subscribes :run, "execute[/opt/osmdbt/build-#{db_version}]"
 123   end
 124
 125   link "/usr/lib/postgresql/#{db_version}/lib/osm-logical.so" do
 126     to "/opt/osmdbt/build-#{db_version}/postgresql-plugin/osm-logical.so"
 127     owner "root"
 128     group "root"
 129   end
 130 end
 131
 132 package "lzop"
 133
 134 python_package "wal-e" do
 135   python_version "3"
 136 end
 137
 138 python_package "boto" do
 139   python_version "3"
 140 end
 141
 142 template "/usr/local/bin/openstreetmap-wal-e" do
 143   source "wal-e.erb"
 144   owner "root"
 145   group "postgres"
 146   mode "750"
 147   variables :s3_key => wal_secrets["s3_key"]
 148 end
 149
 150 remote_file "/usr/local/bin/wal-g" do
 151   action :create
 152   source "https://github.com/wal-g/wal-g/releases/download/v1.1/wal-g-pg-ubuntu-20.04-amd64"
 153   owner "root"
 154   group "root"
 155   mode "755"
 156 end
 157
 158 template "/usr/local/bin/openstreetmap-wal-g" do
 159   source "wal-g.erb"
 160   owner "root"
 161   group "postgres"
 162   mode "750"
 163   variables :s3_key => wal_secrets["s3_key"]
 164 end