]> git.openstreetmap.org Git - chef.git/blob - cookbooks/dev/recipes/default.rb
Merge remote-tracking branch 'github/pull/323
[chef.git] / cookbooks / dev / recipes / default.rb
1 #
2 # Cookbook:: dev
3 # Recipe:: default
4 #
5 # Copyright:: 2011, OpenStreetMap Foundation
6 #
7 # Licensed under the Apache License, Version 2.0 (the "License");
8 # you may not use this file except in compliance with the License.
9 # You may obtain a copy of the License at
10 #
11 #     https://www.apache.org/licenses/LICENSE-2.0
12 #
13 # Unless required by applicable law or agreed to in writing, software
14 # distributed under the License is distributed on an "AS IS" BASIS,
15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16 # See the License for the specific language governing permissions and
17 # limitations under the License.
18 #
19
20 require "yaml"
21 require "securerandom"
22
23 include_recipe "apache"
24 include_recipe "passenger"
25 include_recipe "geoipupdate"
26 include_recipe "git"
27 include_recipe "memcached"
28 include_recipe "munin"
29 include_recipe "mysql"
30 include_recipe "nodejs"
31 include_recipe "php::fpm"
32 include_recipe "postgresql"
33 include_recipe "python"
34
35 package %w[
36   php-cgi
37   php-cli
38   php-curl
39   php-db
40   php-imagick
41   php-mysql
42   php-pear
43   php-pgsql
44   php-sqlite3
45   pngcrush
46   pngquant
47   python3
48   python3-bs4
49   python3-cheetah
50   python3-dateutil
51   python3-magic
52   python3-psycopg2
53   python3-gdal
54   g++
55   gcc
56   make
57   autoconf
58   automake
59   libtool
60   libfcgi-dev
61   libxml2-dev
62   libmemcached-dev
63   libboost-regex-dev
64   libboost-system-dev
65   libboost-program-options-dev
66   libboost-date-time-dev
67   libboost-filesystem-dev
68   libboost-locale-dev
69   libpqxx-dev
70   libcrypto++-dev
71   libyajl-dev
72   zlib1g-dev
73 ]
74
75 nodejs_package "svgo"
76
77 python_package "geojson" do
78   python_version "3"
79 end
80
81 apache_module "env"
82 apache_module "expires"
83 apache_module "headers"
84 apache_module "proxy"
85 apache_module "proxy_fcgi"
86 apache_module "rewrite"
87 apache_module "suexec"
88 apache_module "userdir"
89
90 apache_module "wsgi" do
91   package "libapache2-mod-wsgi-py3"
92 end
93
94 package "apache2-suexec-pristine"
95
96 php_fpm "default" do
97   template "fpm-default.conf.erb"
98 end
99
100 php_fpm "www" do
101   action :delete
102 end
103
104 directory "/srv/dev.openstreetmap.org" do
105   owner "root"
106   group "root"
107   mode 0o755
108 end
109
110 template "/srv/dev.openstreetmap.org/index.html" do
111   source "dev.html.erb"
112   owner "root"
113   group "root"
114   mode 0o644
115 end
116
117 ssl_certificate "dev.openstreetmap.org" do
118   domains "dev.openstreetmap.org"
119   notifies :reload, "service[apache2]"
120 end
121
122 apache_site "dev.openstreetmap.org" do
123   template "apache.dev.erb"
124 end
125
126 package "phppgadmin"
127
128 template "/etc/phppgadmin/config.inc.php" do
129   source "phppgadmin.conf.erb"
130   owner "root"
131   group "root"
132   mode 0o644
133 end
134
135 file "/etc/apache2/conf.d/phppgadmin" do
136   action :delete
137 end
138
139 ssl_certificate "phppgadmin.dev.openstreetmap.org" do
140   domains "phppgadmin.dev.openstreetmap.org"
141   notifies :reload, "service[apache2]"
142 end
143
144 apache_site "phppgadmin.dev.openstreetmap.org" do
145   template "apache.phppgadmin.erb"
146 end
147
148 search(:accounts, "*:*").each do |account|
149   name = account["id"]
150   details = node[:accounts][:users][name] || {}
151
152   next unless %w[user administrator].include?(details[:status])
153
154   user_home = details[:home] || account["home"] || "#{node[:accounts][:home]}/#{name}"
155
156   next unless File.directory?("#{user_home}/public_html")
157
158   port = 7000 + account["uid"].to_i
159
160   php_fpm name do
161     template "fpm.conf.erb"
162     variables :user => name, :port => port
163   end
164
165   ssl_certificate "#{name}.dev.openstreetmap.org" do
166     domains ["#{name}.dev.openstreetmap.org", "#{name}.dev.osm.org"]
167     notifies :reload, "service[apache2]"
168   end
169
170   apache_site "#{name}.dev.openstreetmap.org" do
171     template "apache.user.erb"
172     directory "#{user_home}/public_html"
173     variables :user => name, :port => port
174   end
175
176   template "/etc/sudoers.d/#{name}" do
177     source "sudoers.user.erb"
178     owner "root"
179     group "root"
180     mode 0o440
181     variables :user => name
182   end
183 end
184
185 if node[:postgresql][:clusters][:"12/main"]
186   postgresql_user "apis" do
187     cluster "12/main"
188   end
189
190   template "/usr/local/bin/cleanup-rails-assets" do
191     cookbook "web"
192     source "cleanup-assets.erb"
193     owner "root"
194     group "root"
195     mode 0o755
196   end
197
198   ruby_version = node[:passenger][:ruby_version]
199
200   systemd_service "rails-jobs@" do
201     description "Rails job queue runner"
202     type "simple"
203     user "apis"
204     working_directory "/srv/%i.apis.dev.openstreetmap.org/rails"
205     exec_start "/usr/local/bin/bundle#{ruby_version} exec rake jobs:work"
206     restart "on-failure"
207     private_tmp true
208     private_devices true
209     protect_system "full"
210     protect_home true
211     no_new_privileges true
212   end
213
214   systemd_service "cgimap@" do
215     description "OpenStreetMap API Server"
216     type "forking"
217     environment_file "/etc/default/cgimap-%i"
218     user "apis"
219     exec_start "/srv/%i.apis.dev.openstreetmap.org/cgimap/openstreetmap-cgimap --daemon --port $CGIMAP_PORT --instances 5"
220     exec_reload "/bin/kill -HUP $MAINPID"
221     private_tmp true
222     private_devices true
223     protect_system "full"
224     protect_home true
225     no_new_privileges true
226     restart "on-failure"
227   end
228
229   cgimap_port = 9000
230
231   node[:dev][:rails].each do |name, details|
232     database_name = details[:database] || "apis_#{name}"
233     site_name = "#{name}.apis.dev.openstreetmap.org"
234     site_directory = "/srv/#{name}.apis.dev.openstreetmap.org"
235     log_directory = "#{site_directory}/logs"
236     rails_directory = "#{site_directory}/rails"
237     cgimap_directory = "#{site_directory}/cgimap"
238     gpx_directory = "#{site_directory}/gpx"
239
240     if details[:repository]
241       site_aliases = details[:aliases] || []
242       secret_key_base = details[:secret_key_base] || SecureRandom.base64(96)
243
244       node.normal[:dev][:rails][name][:secret_key_base] = secret_key_base
245
246       postgresql_database database_name do
247         cluster "12/main"
248         owner "apis"
249       end
250
251       postgresql_extension "#{database_name}_btree_gist" do
252         cluster "12/main"
253         database database_name
254         extension "btree_gist"
255       end
256
257       directory site_directory do
258         owner "apis"
259         group "apis"
260         mode 0o755
261       end
262
263       directory log_directory do
264         owner "apis"
265         group "apis"
266         mode 0o755
267       end
268
269       directory gpx_directory do
270         owner "apis"
271         group "apis"
272         mode 0o755
273       end
274
275       directory "#{gpx_directory}/traces" do
276         owner "apis"
277         group "apis"
278         mode 0o755
279       end
280
281       directory "#{gpx_directory}/images" do
282         owner "apis"
283         group "apis"
284         mode 0o755
285       end
286
287       rails_port site_name do
288         ruby ruby_version
289         directory rails_directory
290         user "apis"
291         group "apis"
292         repository details[:repository]
293         revision details[:revision]
294         database_port node[:postgresql][:clusters][:"12/main"][:port]
295         database_name database_name
296         database_username "apis"
297         gpx_dir gpx_directory
298         log_path "#{log_directory}/rails.log"
299         memcache_servers ["127.0.0.1"]
300         csp_enforce true
301         run_migrations true
302         trace_use_job_queue true
303       end
304
305       template "#{rails_directory}/config/initializers/setup.rb" do
306         source "rails.setup.rb.erb"
307         owner "apis"
308         group "apis"
309         mode 0o644
310         variables :site => site_name
311         notifies :restart, "rails_port[#{site_name}]"
312       end
313
314       service "rails-jobs@#{name}" do
315         action [:enable, :start]
316         supports :restart => true
317         subscribes :restart, "rails_port[#{site_name}]"
318         subscribes :restart, "systemd_service[#{name}]"
319         only_if "fgrep -q delayed_job #{rails_directory}/Gemfile.lock"
320       end
321
322       if details[:cgimap_repository]
323         git cgimap_directory do
324           action :sync
325           repository details[:cgimap_repository]
326           revision details[:cgimap_revision]
327           user "apis"
328           group "apis"
329         end
330
331         execute "#{cgimap_directory}/autogen.sh" do
332           action :nothing
333           command "./autogen.sh"
334           cwd cgimap_directory
335           user "apis"
336           group "apis"
337           subscribes :run, "git[#{cgimap_directory}]", :immediate
338         end
339
340         execute "#{cgimap_directory}/configure" do
341           action :nothing
342           command "./configure --with-fcgi=/usr --with-boost-libdir=/usr/lib/x86_64-linux-gnu --enable-yajl"
343           cwd cgimap_directory
344           user "apis"
345           group "apis"
346           subscribes :run, "execute[#{cgimap_directory}/autogen.sh]", :immediate
347         end
348
349         execute "#{cgimap_directory}/Makefile" do
350           action :nothing
351           command "make -j"
352           cwd cgimap_directory
353           user "apis"
354           group "apis"
355           subscribes :run, "execute[#{cgimap_directory}/configure]", :immediate
356           notifies :restart, "service[cgimap@#{name}]"
357         end
358
359         template "/etc/default/cgimap-#{name}" do
360           source "cgimap.environment.erb"
361           owner "root"
362           group "root"
363           mode 0o640
364           variables :cgimap_port => cgimap_port,
365                     :database_port => node[:postgresql][:clusters][:"12/main"][:port],
366                     :database_name => database_name,
367                     :log_directory => log_directory
368           notifies :restart, "service[cgimap@#{name}]"
369         end
370
371         service "cgimap@#{name}" do
372           action [:start, :enable]
373         end
374       end
375
376       ssl_certificate site_name do
377         domains [site_name] + site_aliases
378         notifies :reload, "service[apache2]"
379       end
380
381       apache_site site_name do
382         template "apache.rails.erb"
383         variables :application_name => name,
384                   :aliases => site_aliases,
385                   :secret_key_base => secret_key_base,
386                   :cgimap_enabled => details.key?(:cgimap_repository),
387                   :cgimap_port => cgimap_port
388       end
389
390       template "/etc/logrotate.d/apis-#{name}" do
391         source "logrotate.apis.erb"
392         owner "root"
393         group "root"
394         mode 0o644
395         variables :name => name,
396                   :log_directory => log_directory,
397                   :rails_directory => rails_directory
398       end
399
400       cgimap_port += 1
401     else
402       file "/etc/logrotate.d/apis-#{name}" do
403         action :delete
404       end
405
406       apache_site site_name do
407         action [:delete]
408       end
409
410       service "cgimap@#{name}" do
411         action [:stop, :disable]
412       end
413
414       file "/etc/default/cgimap-#{name}" do
415         action :delete
416       end
417
418       directory site_directory do
419         action :delete
420         recursive true
421       end
422
423       file "/etc/cron.daily/rails-#{site_name.tr('.', '-')}" do
424         action :delete
425       end
426
427       postgresql_database database_name do
428         action :drop
429         cluster "12/main"
430       end
431
432       node.normal[:dev][:rails].delete(name)
433     end
434   end
435
436   directory "/srv/apis.dev.openstreetmap.org" do
437     owner "apis"
438     group "apis"
439     mode 0o755
440   end
441
442   template "/srv/apis.dev.openstreetmap.org/index.html" do
443     source "apis.html.erb"
444     owner "apis"
445     group "apis"
446     mode 0o644
447   end
448
449   ssl_certificate "apis.dev.openstreetmap.org" do
450     domains "apis.dev.openstreetmap.org"
451     notifies :reload, "service[apache2]"
452   end
453
454   apache_site "apis.dev.openstreetmap.org" do
455     template "apache.apis.erb"
456   end
457
458   node[:postgresql][:clusters].each_key do |name|
459     postgresql_munin name do
460       cluster name
461       database "ALL"
462     end
463   end
464 end
465
466 directory "/srv/ooc.openstreetmap.org" do
467   owner "root"
468   group "root"
469   mode 0o755
470 end
471
472 remote_directory "/srv/ooc.openstreetmap.org/html" do
473   source "ooc"
474   owner "root"
475   group "root"
476   mode 0o755
477   files_owner "root"
478   files_group "root"
479   files_mode 0o644
480 end
481
482 ssl_certificate "ooc.openstreetmap.org" do
483   domains ["ooc.openstreetmap.org",
484            "a.ooc.openstreetmap.org",
485            "b.ooc.openstreetmap.org",
486            "c.ooc.openstreetmap.org"]
487   notifies :reload, "service[apache2]"
488 end
489
490 apache_site "ooc.openstreetmap.org" do
491   template "apache.ooc.erb"
492 end