cookbooks/mediawiki/resources/site.rb

   1 #
   2 # Cookbook:: mediawiki
   3 # Resource:: mediawiki_site
   4 #
   5 # Copyright:: 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 # https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 unified_mode true
  21
  22 default_action :create
  23
  24 property :site, :kind_of => String, :name_property => true
  25 property :aliases, :kind_of => [String, Array]
  26 property :version, :kind_of => String, :default => "1.39"
  27 property :database_name, :kind_of => String, :required => true
  28 property :database_user, :kind_of => String, :required => [:create, :update]
  29 property :database_password, :kind_of => String, :required => [:create, :update]
  30 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
  31 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
  32 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
  33 property :email_contact, :kind_of => String, :default => ""
  34 property :email_sender, :kind_of => String, :default => ""
  35 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
  36 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
  37 property :skin, :kind_of => String, :default => "vector"
  38 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
  39 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
  40 property :admin_user, :kind_of => String, :default => "Admin"
  41 property :admin_password, :kind_of => String, :required => [:create]
  42 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
  43 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
  44 property :hcaptcha_public_key, :kind_of => String, :default => ""
  45 property :hcaptcha_private_key, :kind_of => String, :default => ""
  46 property :extra_file_extensions, :kind_of => [String, Array], :default => []
  47 property :fpm_max_children, :kind_of => Integer, :default => 5
  48 property :fpm_start_servers, :kind_of => Integer, :default => 2
  49 property :fpm_min_spare_servers, :kind_of => Integer, :default => 1
  50 property :fpm_max_spare_servers, :kind_of => Integer, :default => 3
  51 property :fpm_request_terminate_timeout, :kind_of => Integer, :default => 300
  52 property :fpm_prometheus_port, :kind_of => Integer
  53 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
  54
  55 action :create do
  56   node.default[:mediawiki][:sites][new_resource.site] = {
  57     :directory => site_directory,
  58     :version => new_resource.version
  59   }
  60
  61   mysql_user "#{new_resource.database_user}@localhost" do
  62     password new_resource.database_password
  63     reload true
  64   end
  65
  66   mysql_database new_resource.database_name do
  67     permissions "#{new_resource.database_user}@localhost" => :all
  68   end
  69
  70   mediawiki_directory = "#{site_directory}/w"
  71
  72   declare_resource :directory, site_directory do
  73     owner node[:mediawiki][:user]
  74     group node[:mediawiki][:group]
  75     mode "775"
  76   end
  77
  78   declare_resource :directory, mediawiki_directory do
  79     owner node[:mediawiki][:user]
  80     group node[:mediawiki][:group]
  81     mode "775"
  82   end
  83
  84   git mediawiki_directory do
  85     action :sync
  86     repository "https://gerrit.wikimedia.org/r/mediawiki/core.git"
  87     revision mediawiki_reference
  88     depth 1
  89     user node[:mediawiki][:user]
  90     group node[:mediawiki][:group]
  91   end
  92
  93   template "#{mediawiki_directory}/composer.local.json" do
  94     cookbook "mediawiki"
  95     source "composer.local.json.erb"
  96     owner node[:mediawiki][:user]
  97     group node[:mediawiki][:group]
  98     mode "664"
  99     variables :version => new_resource.version
 100   end
 101
 102   execute "#{mediawiki_directory}/composer.json" do
 103     command "composer update --no-dev"
 104     cwd mediawiki_directory
 105     user node[:mediawiki][:user]
 106     group node[:mediawiki][:group]
 107     environment "COMPOSER_HOME" => site_directory
 108     not_if { ::File.exist?("#{mediawiki_directory}/composer.lock") }
 109   end
 110
 111   execute "#{mediawiki_directory}/maintenance/install.php" do
 112     # Use metanamespace as Site Name to ensure correct set namespace
 113     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
 114     cwd mediawiki_directory
 115     user node[:mediawiki][:user]
 116     group node[:mediawiki][:group]
 117     not_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 118   end
 119
 120   declare_resource :directory, "#{mediawiki_directory}/images" do
 121     owner "www-data"
 122     group node[:mediawiki][:group]
 123     mode "775"
 124   end
 125
 126   declare_resource :directory, "#{mediawiki_directory}/cache" do
 127     owner "www-data"
 128     group node[:mediawiki][:group]
 129     mode "775"
 130   end
 131
 132   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
 133     user node[:mediawiki][:user]
 134     group node[:mediawiki][:group]
 135     mode "775"
 136   end
 137
 138   template "#{mediawiki_directory}/LocalSettings.php" do
 139     cookbook "mediawiki"
 140     source "LocalSettings.php.erb"
 141     owner node[:mediawiki][:user]
 142     group node[:mediawiki][:group]
 143     mode "664"
 144     variables :name => new_resource.site,
 145               :directory => mediawiki_directory,
 146               :database_params => database_params,
 147               :mediawiki => mediawiki_params,
 148               :secret_key => secret_key
 149   end
 150
 151   service "mediawiki-sitemap@#{new_resource.site}.timer" do
 152     action [:enable, :start]
 153     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 154   end
 155
 156   service "mediawiki-jobs@#{new_resource.site}.timer" do
 157     action [:enable, :start]
 158     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 159   end
 160
 161   service "mediawiki-email-jobs@#{new_resource.site}.timer" do
 162     action [:enable, :start]
 163     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 164   end
 165
 166   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
 167     cookbook "mediawiki"
 168     source "mediawiki-backup.cron.erb"
 169     owner "root"
 170     group "root"
 171     mode "700"
 172     variables :name => new_resource.site,
 173               :directory => site_directory,
 174               :database_params => database_params
 175     only_if { ::File.exist?("#{mediawiki_directory}/LocalSettings.php") }
 176   end
 177
 178   # MobileFrontend extension is required by MinervaNeue skin
 179   mediawiki_extension "MobileFrontend" do
 180     site new_resource.site
 181     template "mw-ext-MobileFrontend.inc.php.erb"
 182     update_site false
 183   end
 184
 185   # MobileFrontend extension is required by MinervaNeue skin
 186   mediawiki_skin "MinervaNeue" do
 187     site new_resource.site
 188     update_site false
 189     legacy false
 190   end
 191
 192   mediawiki_skin "CologneBlue" do
 193     site new_resource.site
 194     update_site false
 195     legacy false
 196   end
 197
 198   mediawiki_skin "Modern" do
 199     site new_resource.site
 200     update_site false
 201     legacy false
 202   end
 203
 204   mediawiki_skin "MonoBook" do
 205     site new_resource.site
 206     update_site false
 207     legacy false
 208   end
 209
 210   mediawiki_skin "Vector" do
 211     site new_resource.site
 212     update_site false
 213     legacy false
 214   end
 215
 216   mediawiki_extension "Cite" do
 217     site new_resource.site
 218     update_site false
 219   end
 220
 221   mediawiki_extension "CiteThisPage" do
 222     site new_resource.site
 223     update_site false
 224   end
 225
 226   if new_resource.private_accounts || new_resource.private_site
 227     mediawiki_extension "ConfirmEdit" do
 228       site new_resource.site
 229       update_site false
 230       action :delete
 231     end
 232   else
 233     mediawiki_extension "ConfirmEdit" do
 234       site new_resource.site
 235       template "mw-ext-ConfirmEdit.inc.php.erb"
 236       variables :public_key => new_resource.hcaptcha_public_key,
 237                 :private_key => new_resource.hcaptcha_private_key
 238       update_site false
 239     end
 240   end
 241
 242   mediawiki_extension "Gadgets" do
 243     site new_resource.site
 244     update_site false
 245   end
 246
 247   mediawiki_extension "ImageMap" do
 248     site new_resource.site
 249     update_site false
 250   end
 251
 252   mediawiki_extension "InputBox" do
 253     site new_resource.site
 254     update_site false
 255   end
 256
 257   mediawiki_extension "Interwiki" do
 258     site new_resource.site
 259     template "mw-ext-Interwiki.inc.php.erb"
 260     update_site false
 261   end
 262
 263   mediawiki_extension "Nuke" do
 264     site new_resource.site
 265     update_site false
 266   end
 267
 268   mediawiki_extension "ParserFunctions" do
 269     site new_resource.site
 270     template "mw-ext-ParserFunctions.inc.php.erb"
 271     update_site false
 272   end
 273
 274   mediawiki_extension "PdfHandler" do
 275     site new_resource.site
 276     template "mw-ext-PdfHandler.inc.php.erb"
 277     update_site false
 278   end
 279
 280   mediawiki_extension "Poem" do
 281     site new_resource.site
 282     update_site false
 283   end
 284
 285   mediawiki_extension "Renameuser" do
 286     site new_resource.site
 287     update_site false
 288   end
 289
 290   mediawiki_extension "SimpleAntiSpam" do
 291     site new_resource.site
 292     update_site false
 293     action :delete
 294   end
 295
 296   mediawiki_extension "SpamBlacklist" do
 297     site new_resource.site
 298     template "mw-ext-SpamBlacklist.inc.php.erb"
 299     update_site false
 300   end
 301
 302   mediawiki_extension "SyntaxHighlight_GeSHi" do
 303     site new_resource.site
 304     template "mw-ext-SyntaxHighlight.inc.php.erb"
 305     update_site false
 306   end
 307
 308   mediawiki_extension "TitleBlacklist" do
 309     site new_resource.site
 310     template "mw-ext-TitleBlacklist.inc.php.erb"
 311     update_site false
 312   end
 313
 314   mediawiki_extension "WikiEditor" do
 315     site new_resource.site
 316     update_site false
 317   end
 318
 319   mediawiki_extension "Babel" do
 320     site new_resource.site
 321     template "mw-ext-Babel.inc.php.erb"
 322     update_site false
 323   end
 324
 325   mediawiki_extension "CategoryTree" do
 326     site new_resource.site
 327     update_site false
 328   end
 329
 330   mediawiki_extension "cldr" do
 331     site new_resource.site
 332     template "mw-ext-cldr.inc.php.erb"
 333     update_site false
 334   end
 335
 336   mediawiki_extension "CleanChanges" do
 337     site new_resource.site
 338     template "mw-ext-CleanChanges.inc.php.erb"
 339     update_site false
 340   end
 341
 342   # Extension has been archived: https://www.mediawiki.org/wiki/Extension:LocalisationUpdate
 343   mediawiki_extension "LocalisationUpdate" do
 344     site new_resource.site
 345     action :delete
 346   end
 347
 348   # mediawiki_extension "Translate" do
 349   #   site new_resource.site
 350   #   template "mw-ext-Translate.inc.php.erb"
 351   #   update_site false
 352   # end
 353
 354   mediawiki_extension "UniversalLanguageSelector" do
 355     site new_resource.site
 356     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
 357     update_site false
 358   end
 359
 360   mediawiki_extension "AntiSpoof" do
 361     site new_resource.site
 362     template "mw-ext-AntiSpoof.inc.php.erb"
 363     update_site false
 364   end
 365
 366   mediawiki_extension "AbuseFilter" do
 367     site new_resource.site
 368     template "mw-ext-AbuseFilter.inc.php.erb"
 369     update_site false
 370   end
 371
 372   mediawiki_extension "CheckUser" do
 373     site new_resource.site
 374     template "mw-ext-CheckUser.inc.php.erb"
 375     update_site false
 376   end
 377
 378   mediawiki_extension "DismissableSiteNotice" do
 379     site new_resource.site
 380     update_site false
 381   end
 382
 383   mediawiki_extension "Elastica" do
 384     site new_resource.site
 385     update_site false
 386   end
 387
 388   mediawiki_extension "CirrusSearch" do
 389     site new_resource.site
 390     template "mw-ext-CirrusSearch.inc.php.erb"
 391     update_site false
 392   end
 393
 394   mediawiki_extension "osmtaginfo" do
 395     site new_resource.site
 396     repository "https://github.com/openstreetmap/osmtaginfo.git"
 397     tag "live"
 398     update_site false
 399   end
 400
 401   mediawiki_extension "OSMCALWikiWidget" do
 402     site new_resource.site
 403     repository "https://github.com/thomersch/OSMCALWikiWidget.git"
 404     tag "live"
 405     update_site false
 406   end
 407
 408   mediawiki_extension "DisableAccount" do
 409     site new_resource.site
 410     template "mw-ext-DisableAccount.inc.php.erb"
 411     update_site false
 412   end
 413
 414   mediawiki_extension "VisualEditor" do
 415     site new_resource.site
 416     template "mw-ext-VisualEditor.inc.php.erb"
 417     variables :version => new_resource.version
 418     update_site false
 419   end
 420
 421   mediawiki_extension "TemplateData" do
 422     site new_resource.site
 423     update_site false
 424   end
 425
 426   if new_resource.commons
 427     mediawiki_extension "QuickInstantCommons" do
 428       site new_resource.site
 429       template "mw-ext-QuickInstantCommons.inc.php.erb"
 430       update_site false
 431     end
 432   else
 433     mediawiki_extension "QuickInstantCommons" do
 434       site new_resource.site
 435       update_site false
 436       action :delete
 437     end
 438   end
 439
 440   cookbook_file "#{site_directory}/cc-wiki.png" do
 441     cookbook "mediawiki"
 442     owner node[:mediawiki][:user]
 443     group node[:mediawiki][:group]
 444     mode "644"
 445     backup false
 446   end
 447
 448   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
 449     cookbook "mediawiki"
 450     owner node[:mediawiki][:user]
 451     group node[:mediawiki][:group]
 452     mode "644"
 453     backup false
 454   end
 455
 456   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
 457     cookbook "mediawiki"
 458     owner node[:mediawiki][:user]
 459     group node[:mediawiki][:group]
 460     mode "644"
 461     backup false
 462   end
 463
 464   ssl_certificate new_resource.site do
 465     domains [new_resource.site] + Array(new_resource.aliases)
 466   end
 467
 468   php_fpm new_resource.site do
 469     pm_max_children new_resource.fpm_max_children
 470     pm_start_servers new_resource.fpm_start_servers
 471     pm_min_spare_servers new_resource.fpm_min_spare_servers
 472     pm_max_spare_servers new_resource.fpm_max_spare_servers
 473     request_terminate_timeout new_resource.fpm_request_terminate_timeout
 474     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
 475     php_values "memory_limit" => "500M",
 476                "max_execution_time" => "240",
 477                "upload_max_filesize" => "70M",
 478                "post_max_size" => "100M"
 479     prometheus_port new_resource.fpm_prometheus_port
 480   end
 481
 482   apache_site new_resource.site do
 483     cookbook "mediawiki"
 484     template "apache.erb"
 485     directory site_directory
 486     variables :aliases => Array(new_resource.aliases),
 487               :private_site => new_resource.private_site
 488     reload_apache false
 489   end
 490
 491   # FIXME: needs to run one
 492   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
 493     action :nothing
 494     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
 495     cwd mediawiki_directory
 496     user node[:mediawiki][:user]
 497     group node[:mediawiki][:group]
 498   end
 499 end
 500
 501 action :update do
 502   mediawiki_directory = "#{site_directory}/w"
 503
 504   execute "#{mediawiki_directory}/composer.json" do
 505     command "composer update --no-dev"
 506     cwd mediawiki_directory
 507     user node[:mediawiki][:user]
 508     group node[:mediawiki][:group]
 509     environment "COMPOSER_HOME" => site_directory
 510   end
 511
 512   template "#{mediawiki_directory}/LocalSettings.php" do
 513     cookbook "mediawiki"
 514     source "LocalSettings.php.erb"
 515     owner node[:mediawiki][:user]
 516     group node[:mediawiki][:group]
 517     mode "664"
 518     variables :name => new_resource.site,
 519               :directory => mediawiki_directory,
 520               :database_params => database_params,
 521               :mediawiki => mediawiki_params,
 522               :secret_key => secret_key
 523   end
 524
 525   execute "#{mediawiki_directory}/maintenance/update.php" do
 526     action :run
 527     command "php maintenance/update.php --quick"
 528     cwd mediawiki_directory
 529     user node[:mediawiki][:user]
 530     group node[:mediawiki][:group]
 531     timeout 86400
 532   end
 533 end
 534
 535 action :delete do
 536   apache_site new_resource.site do
 537     action :delete
 538     reload_apache false
 539   end
 540
 541   declare_resource :directory, site_directory do
 542     action :delete
 543     recursive true
 544   end
 545
 546   mysql_database new_resource.database_name do
 547     action :drop
 548   end
 549
 550   mysql_user "#{new_resource.database_user}@localhost" do
 551     action :drop
 552   end
 553 end
 554
 555 action_class do
 556   include OpenStreetMap::Mixin::PersistentToken
 557
 558   def site_directory
 559     "/srv/#{new_resource.site}"
 560   end
 561
 562   def mediawiki_reference
 563     shell_out!("git", "-c", "versionsort.suffix=-rc",
 564                "ls-remote", "--refs", "--sort=-version:refname",
 565                "https://gerrit.wikimedia.org/r/mediawiki/core.git",
 566                "refs/tags/#{new_resource.version}.*")
 567       .stdout
 568       .split("\n")
 569       .first
 570       .split("/")
 571       .last
 572   end
 573
 574   def cron_name
 575     new_resource.site.tr(".", "_")
 576   end
 577
 578   def database_params
 579     {
 580       :host => "localhost",
 581       :name => new_resource.database_name,
 582       :username => new_resource.database_user,
 583       :password => new_resource.database_password
 584     }
 585   end
 586
 587   def mediawiki_params
 588     {
 589       :sitename => new_resource.sitename,
 590       :metanamespace => new_resource.metanamespace,
 591       :logo => new_resource.logo,
 592       :email_contact => new_resource.email_contact,
 593       :email_sender => new_resource.email_sender,
 594       :email_sender_name => new_resource.email_sender_name,
 595       :commons => new_resource.commons,
 596       :skin => new_resource.skin,
 597       :site_notice => new_resource.site_notice,
 598       :site_readonly => new_resource.site_readonly,
 599       :extra_file_extensions => new_resource.extra_file_extensions,
 600       :private_accounts => new_resource.private_accounts,
 601       :private_site => new_resource.private_site
 602     }
 603   end
 604
 605   def secret_key
 606     persistent_token("mediawiki", new_resource.site, "wgSecretKey")
 607   end
 608 end
 609
 610 def after_created
 611   notifies :update, "mediawiki_site[#{site}]"
 612   notifies :reload, "service[apache2]" if reload_apache
 613 end