cookbooks/mediawiki/resources/site.rb

   1 #
   2 # Cookbook:: mediawiki
   3 # Resource:: mediawiki_site
   4 #
   5 # Copyright:: 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 # https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 default_action :create
  21
  22 property :site, :kind_of => String, :name_property => true
  23 property :aliases, :kind_of => [String, Array]
  24 property :directory, :kind_of => String
  25 property :version, :kind_of => String, :default => "1.33"
  26 property :database_name, :kind_of => String, :required => true
  27 property :database_user, :kind_of => String, :required => true
  28 property :database_password, :kind_of => String, :required => true
  29 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
  30 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
  31 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
  32 property :email_contact, :kind_of => String, :default => ""
  33 property :email_sender, :kind_of => String, :default => ""
  34 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
  35 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
  36 property :skin, :kind_of => String, :default => "vector"
  37 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
  38 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
  39 property :admin_user, :kind_of => String, :default => "Admin"
  40 property :admin_password, :kind_of => String, :required => true
  41 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
  42 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
  43 property :recaptcha_public_key, :kind_of => String
  44 property :recaptcha_private_key, :kind_of => String
  45 property :extra_file_extensions, :kind_of => [String, Array], :default => []
  46 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
  47
  48 action :create do
  49   node.normal_unless[:mediawiki][:sites][new_resource.site] = {}
  50
  51   node.normal[:mediawiki][:sites][new_resource.site][:directory] = site_directory
  52   node.normal[:mediawiki][:sites][new_resource.site][:version] = new_resource.version
  53
  54   node.normal_unless[:mediawiki][:sites][new_resource.site][:wgSecretKey] = SecureRandom.base64(48)
  55
  56   mysql_user "#{new_resource.database_user}@localhost" do
  57     password new_resource.database_password
  58   end
  59
  60   mysql_database new_resource.database_name do
  61     permissions "#{new_resource.database_user}@localhost" => :all
  62   end
  63
  64   mediawiki_directory = "#{site_directory}/w"
  65
  66   ruby_block "rename-installer-localsettings" do
  67     action :nothing
  68     block do
  69       ::File.rename("#{mediawiki_directory}/LocalSettings.php", "#{mediawiki_directory}/LocalSettings-install.php")
  70     end
  71   end
  72
  73   execute "#{mediawiki_directory}/maintenance/install.php" do
  74     action :nothing
  75     # Use metanamespace as Site Name to ensure correct set namespace
  76     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
  77     cwd mediawiki_directory
  78     user node[:mediawiki][:user]
  79     group node[:mediawiki][:group]
  80     not_if do
  81       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
  82     end
  83     notifies :run, "ruby_block[rename-installer-localsettings]", :immediately
  84   end
  85
  86   execute "#{mediawiki_directory}/maintenance/update.php" do
  87     action :nothing
  88     command "php maintenance/update.php --quick"
  89     cwd mediawiki_directory
  90     user node[:mediawiki][:user]
  91     group node[:mediawiki][:group]
  92   end
  93
  94   declare_resource :directory, site_directory do
  95     owner node[:mediawiki][:user]
  96     group node[:mediawiki][:group]
  97     mode 0o775
  98   end
  99
 100   declare_resource :directory, mediawiki_directory do
 101     owner node[:mediawiki][:user]
 102     group node[:mediawiki][:group]
 103     mode 0o775
 104   end
 105
 106   mediawiki_reference = "REL#{new_resource.version}".tr(".", "_")
 107
 108   git mediawiki_directory do
 109     action :sync
 110     repository "https://gerrit.wikimedia.org/r/p/mediawiki/core.git"
 111     revision mediawiki_reference
 112     depth 1
 113     user node[:mediawiki][:user]
 114     group node[:mediawiki][:group]
 115     notifies :run, "execute[#{mediawiki_directory}/composer.json]", :immediately
 116     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
 117     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 118   end
 119
 120   execute "#{mediawiki_directory}/composer.json" do
 121     action :nothing
 122     command "composer update --no-dev"
 123     cwd mediawiki_directory
 124     user node[:mediawiki][:user]
 125     group node[:mediawiki][:group]
 126   end
 127
 128   template "#{mediawiki_directory}/composer.local.json" do
 129     cookbook "mediawiki"
 130     source "composer.local.json.erb"
 131     owner node[:mediawiki][:user]
 132     group node[:mediawiki][:group]
 133     mode 0o664
 134   end
 135
 136   # Safety catch if git doesn't update but install.php hasn't run
 137   ruby_block "catch-installer-localsettings-run" do
 138     action :run
 139     block do
 140     end
 141     not_if do
 142       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
 143     end
 144     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
 145   end
 146
 147   declare_resource :directory, "#{mediawiki_directory}/images" do
 148     owner "www-data"
 149     group node[:mediawiki][:group]
 150     mode 0o775
 151   end
 152
 153   declare_resource :directory, "#{mediawiki_directory}/cache" do
 154     owner "www-data"
 155     group node[:mediawiki][:group]
 156     mode 0o775
 157   end
 158
 159   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
 160     user node[:mediawiki][:user]
 161     group node[:mediawiki][:group]
 162     mode 0o775
 163   end
 164
 165   template "#{mediawiki_directory}/LocalSettings.php" do
 166     cookbook "mediawiki"
 167     source "LocalSettings.php.erb"
 168     owner node[:mediawiki][:user]
 169     group node[:mediawiki][:group]
 170     mode 0o664
 171     variables :name => new_resource.site,
 172               :directory => mediawiki_directory,
 173               :database_params => database_params,
 174               :mediawiki => mediawiki_params
 175     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 176   end
 177
 178   file "/etc/cron.d/mediawiki-#{cron_name}" do
 179     action :delete
 180   end
 181
 182   cron_d "mediawiki-#{cron_name}-sitemap" do
 183     comment "Generate sitemap.xml daily"
 184     minute "30"
 185     hour "0"
 186     user node[:mediawiki][:user]
 187     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/generateSitemap.php --server=https://#{new_resource.site} --urlpath=https://#{new_resource.site}/ --fspath=#{site_directory} --quiet --skip-redirects"
 188   end
 189
 190   cron_d "mediawiki-#{cron_name}-jobs" do
 191     comment "Run mediawiki jobs"
 192     minute "*/3"
 193     user node[:mediawiki][:user]
 194     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=160 --memory-limit=2048M --procs=8 --quiet"
 195   end
 196
 197   cron_d "mediawiki-#{cron_name}-email-jobs" do
 198     comment "Run mediawiki email jobs"
 199     user node[:mediawiki][:user]
 200     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=30 --type=enotifNotify --memory-limit=2048M --procs=4 --quiet"
 201   end
 202
 203   cron_d "mediawiki-#{cron_name}-refresh-links" do
 204     comment "Run mediawiki refresh links table weekly"
 205     minute "5"
 206     hour "0"
 207     weekday "0"
 208     user node[:mediawiki][:user]
 209     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/refreshLinks.php --server=https://#{new_resource.site} --memory-limit=2048M --quiet"
 210   end
 211
 212   cron_d "mediawiki-#{cron_name}-cleanup-gs" do
 213     comment "Clean up imagemagick garbage"
 214     minute "10"
 215     hour "2"
 216     user node[:mediawiki][:user]
 217     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'gs_*' -delete"
 218   end
 219
 220   cron_d "mediawiki-#{cron_name}-cleanup-magick" do
 221     comment "Clean up imagemagick garbage"
 222     minute "20"
 223     hour "2"
 224     user node[:mediawiki][:user]
 225     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'magick-*' -delete"
 226   end
 227
 228   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
 229     cookbook "mediawiki"
 230     source "mediawiki-backup.cron.erb"
 231     owner "root"
 232     group "root"
 233     mode 0o700
 234     variables :name => new_resource.site,
 235               :directory => site_directory,
 236               :database_params => database_params
 237   end
 238
 239   # MobileFrontend extension is required by MinervaNeue skin
 240   mediawiki_extension "MobileFrontend" do
 241     site new_resource.site
 242     template "mw-ext-MobileFrontend.inc.php.erb"
 243   end
 244
 245   # MobileFrontend extension is required by MinervaNeue skin
 246   mediawiki_skin "MinervaNeue" do
 247     site new_resource.site
 248     update_site false
 249     legacy false
 250   end
 251
 252   mediawiki_skin "CologneBlue" do
 253     site new_resource.site
 254     update_site false
 255     legacy false
 256   end
 257
 258   mediawiki_skin "Modern" do
 259     site new_resource.site
 260     update_site false
 261     legacy false
 262   end
 263
 264   mediawiki_skin "MonoBook" do
 265     site new_resource.site
 266     update_site false
 267     legacy false
 268   end
 269
 270   mediawiki_skin "Vector" do
 271     site new_resource.site
 272     update_site false
 273     legacy false
 274   end
 275
 276   mediawiki_extension "Cite" do
 277     site new_resource.site
 278     update_site false
 279   end
 280
 281   mediawiki_extension "CiteThisPage" do
 282     site new_resource.site
 283     update_site false
 284   end
 285
 286   if new_resource.private_accounts || new_resource.private_site
 287     mediawiki_extension "ConfirmEdit" do
 288       site new_resource.site
 289       update_site false
 290       action :delete
 291     end
 292   else
 293     mediawiki_extension "ConfirmEdit" do
 294       site new_resource.site
 295       template "mw-ext-ConfirmEdit.inc.php.erb"
 296       variables :public_key => new_resource.recaptcha_public_key,
 297                 :private_key => new_resource.recaptcha_private_key
 298       update_site false
 299     end
 300   end
 301
 302   mediawiki_extension "Gadgets" do
 303     site new_resource.site
 304     update_site false
 305   end
 306
 307   mediawiki_extension "ImageMap" do
 308     site new_resource.site
 309     update_site false
 310   end
 311
 312   mediawiki_extension "InputBox" do
 313     site new_resource.site
 314     update_site false
 315   end
 316
 317   mediawiki_extension "Interwiki" do
 318     site new_resource.site
 319     template "mw-ext-Interwiki.inc.php.erb"
 320     update_site false
 321   end
 322
 323   mediawiki_extension "Nuke" do
 324     site new_resource.site
 325     update_site false
 326   end
 327
 328   mediawiki_extension "ParserFunctions" do
 329     site new_resource.site
 330     template "mw-ext-ParserFunctions.inc.php.erb"
 331     update_site false
 332   end
 333
 334   mediawiki_extension "PdfHandler" do
 335     site new_resource.site
 336     template "mw-ext-PdfHandler.inc.php.erb"
 337     update_site false
 338   end
 339
 340   mediawiki_extension "Poem" do
 341     site new_resource.site
 342     update_site false
 343   end
 344
 345   mediawiki_extension "Renameuser" do
 346     site new_resource.site
 347     update_site false
 348   end
 349
 350   mediawiki_extension "SimpleAntiSpam" do
 351     site new_resource.site
 352     update_site false
 353     action :delete
 354   end
 355
 356   mediawiki_extension "SpamBlacklist" do
 357     site new_resource.site
 358     template "mw-ext-SpamBlacklist.inc.php.erb"
 359     update_site false
 360   end
 361
 362   mediawiki_extension "SyntaxHighlight_GeSHi" do
 363     site new_resource.site
 364     template "mw-ext-SyntaxHighlight.inc.php.erb"
 365     update_site false
 366   end
 367
 368   mediawiki_extension "TitleBlacklist" do
 369     site new_resource.site
 370     template "mw-ext-TitleBlacklist.inc.php.erb"
 371     update_site false
 372   end
 373
 374   mediawiki_extension "WikiEditor" do
 375     site new_resource.site
 376     update_site false
 377   end
 378
 379   mediawiki_extension "Babel" do
 380     site new_resource.site
 381     template "mw-ext-Babel.inc.php.erb"
 382     update_site false
 383   end
 384
 385   mediawiki_extension "cldr" do
 386     site new_resource.site
 387     template "mw-ext-cldr.inc.php.erb"
 388     update_site false
 389   end
 390
 391   mediawiki_extension "CleanChanges" do
 392     site new_resource.site
 393     template "mw-ext-CleanChanges.inc.php.erb"
 394     update_site false
 395   end
 396
 397   mediawiki_extension "LocalisationUpdate" do
 398     site new_resource.site
 399     template "mw-ext-LocalisationUpdate.inc.php.erb"
 400     update_site false
 401   end
 402
 403   # LocalisationUpdate Update Cron
 404   # template "/etc/cron.d/mediawiki-#{name}-LocalisationUpdate" do
 405   #   cookbook "mediawiki"
 406   #   source "mediawiki-LocalisationUpdate.cron.erb"
 407   #   owner "root"
 408   #   group "root"
 409   #   mode 0755
 410   #   variables :name => name, :directory => site_directory, :user => node[:mediawiki][:user]
 411   # end
 412
 413   # mediawiki_extension "Translate" do
 414   #   site new_resource.site
 415   #   template "mw-ext-Translate.inc.php.erb"
 416   #   update_site false
 417   # end
 418
 419   mediawiki_extension "UniversalLanguageSelector" do
 420     site new_resource.site
 421     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
 422     update_site false
 423   end
 424
 425   mediawiki_extension "AntiSpoof" do
 426     site new_resource.site
 427     template "mw-ext-AntiSpoof.inc.php.erb"
 428     update_site false
 429   end
 430
 431   mediawiki_extension "AbuseFilter" do
 432     site new_resource.site
 433     template "mw-ext-AbuseFilter.inc.php.erb"
 434     update_site false
 435   end
 436
 437   mediawiki_extension "CheckUser" do
 438     site new_resource.site
 439     template "mw-ext-CheckUser.inc.php.erb"
 440     update_site false
 441   end
 442
 443   mediawiki_extension "DismissableSiteNotice" do
 444     site new_resource.site
 445     update_site false
 446   end
 447
 448   mediawiki_extension "Elastica" do
 449     site new_resource.site
 450     update_site false
 451   end
 452
 453   mediawiki_extension "CirrusSearch" do
 454     site new_resource.site
 455     template "mw-ext-CirrusSearch.inc.php.erb"
 456     update_site false
 457   end
 458
 459   mediawiki_extension "osmtaginfo" do
 460     site new_resource.site
 461     template "mw-ext-osmtaginfo.inc.php.erb"
 462     repository "https://github.com/Firefishy/osmtaginfo.git"
 463     tag "live"
 464     update_site false
 465   end
 466
 467   mediawiki_extension "SimpleMap" do
 468     site new_resource.site
 469     template "mw-ext-SimpleMap.inc.php.erb"
 470     repository "https://github.com/Firefishy/SimpleMap.git"
 471     tag "live"
 472     update_site false
 473   end
 474
 475   mediawiki_extension "SlippyMap" do
 476     site new_resource.site
 477     template "mw-ext-SlippyMap.inc.php.erb"
 478     repository "https://github.com/Firefishy/SlippyMap.git"
 479     tag "live"
 480     update_site false
 481   end
 482
 483   mediawiki_extension "Mantle" do
 484     site new_resource.site
 485     update_site false
 486     action :delete
 487   end
 488
 489   mediawiki_extension "DisableAccount" do
 490     site new_resource.site
 491     template "mw-ext-DisableAccount.inc.php.erb"
 492     update_site false
 493   end
 494
 495   mediawiki_extension "VisualEditor" do
 496     site new_resource.site
 497     template "mw-ext-VisualEditor.inc.php.erb"
 498     update_site false
 499   end
 500
 501   mediawiki_extension "TemplateData" do
 502     site new_resource.site
 503     update_site false
 504   end
 505
 506   cookbook_file "#{site_directory}/cc-wiki.png" do
 507     cookbook "mediawiki"
 508     owner node[:mediawiki][:user]
 509     group node[:mediawiki][:group]
 510     mode 0o644
 511     backup false
 512   end
 513
 514   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
 515     cookbook "mediawiki"
 516     owner node[:mediawiki][:user]
 517     group node[:mediawiki][:group]
 518     mode 0o644
 519     backup false
 520   end
 521
 522   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
 523     cookbook "mediawiki"
 524     owner node[:mediawiki][:user]
 525     group node[:mediawiki][:group]
 526     mode 0o644
 527     backup false
 528   end
 529
 530   ssl_certificate new_resource.site do
 531     domains [new_resource.site] + Array(new_resource.aliases)
 532   end
 533
 534   apache_site new_resource.site do
 535     cookbook "mediawiki"
 536     template "apache.erb"
 537     directory site_directory
 538     variables :aliases => Array(new_resource.aliases),
 539               :private_site => new_resource.private_site
 540     reload_apache false
 541   end
 542
 543   # FIXME: needs to run one
 544   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
 545     action :nothing
 546     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
 547     cwd mediawiki_directory
 548     user node[:mediawiki][:user]
 549     group node[:mediawiki][:group]
 550   end
 551 end
 552
 553 action :update do
 554   mediawiki_directory = "#{site_directory}/w"
 555
 556   template "#{mediawiki_directory}/LocalSettings.php" do
 557     cookbook "mediawiki"
 558     source "LocalSettings.php.erb"
 559     owner node[:mediawiki][:user]
 560     group node[:mediawiki][:group]
 561     mode 0o664
 562     variables :name => new_resource.site,
 563               :directory => mediawiki_directory,
 564               :database_params => database_params,
 565               :mediawiki => mediawiki_params
 566     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 567   end
 568
 569   execute "#{mediawiki_directory}/maintenance/update.php" do
 570     action :run
 571     command "php maintenance/update.php --quick"
 572     cwd mediawiki_directory
 573     user node[:mediawiki][:user]
 574     group node[:mediawiki][:group]
 575   end
 576 end
 577
 578 action :delete do
 579   apache_site new_resource.site do
 580     action :delete
 581     reload_apache false
 582   end
 583
 584   declare_resource :directory, site_directory do
 585     action :delete
 586     recursive true
 587   end
 588
 589   mysql_database new_resource.database_name do
 590     action :drop
 591   end
 592
 593   mysql_user "#{new_resource.database_user}@localhost" do
 594     action :drop
 595   end
 596 end
 597
 598 action_class do
 599   def site_directory
 600     new_resource.directory || "/srv/#{new_resource.site}"
 601   end
 602
 603   def cron_name
 604     new_resource.site.tr(".", "_")
 605   end
 606
 607   def database_params
 608     {
 609       :host => "localhost",
 610       :name => new_resource.database_name,
 611       :username => new_resource.database_user,
 612       :password => new_resource.database_password
 613     }
 614   end
 615
 616   def mediawiki_params
 617     {
 618       :sitename => new_resource.sitename,
 619       :metanamespace => new_resource.metanamespace,
 620       :logo => new_resource.logo,
 621       :email_contact => new_resource.email_contact,
 622       :email_sender => new_resource.email_sender,
 623       :email_sender_name => new_resource.email_sender_name,
 624       :commons => new_resource.commons,
 625       :skin => new_resource.skin,
 626       :site_notice => new_resource.site_notice,
 627       :site_readonly => new_resource.site_readonly,
 628       :extra_file_extensions => new_resource.extra_file_extensions,
 629       :private_accounts => new_resource.private_accounts,
 630       :private_site => new_resource.private_site
 631     }
 632   end
 633 end
 634
 635 def after_created
 636   notifies :reload, "service[apache2]" if reload_apache
 637 end