cookbooks/mediawiki/resources/site.rb

   1 #
   2 # Cookbook:: mediawiki
   3 # Resource:: mediawiki_site
   4 #
   5 # Copyright:: 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 # https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 default_action :create
  21
  22 property :site, :kind_of => String, :name_property => true
  23 property :aliases, :kind_of => [String, Array]
  24 property :directory, :kind_of => String
  25 property :version, :kind_of => String, :default => "1.33"
  26 property :database_name, :kind_of => String, :required => true
  27 property :database_user, :kind_of => String, :required => true
  28 property :database_password, :kind_of => String, :required => true
  29 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
  30 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
  31 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
  32 property :email_contact, :kind_of => String, :default => ""
  33 property :email_sender, :kind_of => String, :default => ""
  34 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
  35 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
  36 property :skin, :kind_of => String, :default => "vector"
  37 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
  38 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
  39 property :admin_user, :kind_of => String, :default => "Admin"
  40 property :admin_password, :kind_of => String, :required => true
  41 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
  42 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
  43 property :recaptcha_public_key, :kind_of => String
  44 property :recaptcha_private_key, :kind_of => String
  45 property :extra_file_extensions, :kind_of => [String, Array], :default => []
  46 property :fpm_max_children, :kind_of => Integer, :default => 5
  47 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
  48
  49 action :create do
  50   node.normal_unless[:mediawiki][:sites][new_resource.site] = {}
  51
  52   node.normal[:mediawiki][:sites][new_resource.site][:directory] = site_directory
  53   node.normal[:mediawiki][:sites][new_resource.site][:version] = new_resource.version
  54
  55   node.normal_unless[:mediawiki][:sites][new_resource.site][:wgSecretKey] = SecureRandom.base64(48)
  56
  57   mysql_user "#{new_resource.database_user}@localhost" do
  58     password new_resource.database_password
  59   end
  60
  61   mysql_database new_resource.database_name do
  62     permissions "#{new_resource.database_user}@localhost" => :all
  63   end
  64
  65   mediawiki_directory = "#{site_directory}/w"
  66
  67   ruby_block "rename-installer-localsettings" do
  68     action :nothing
  69     block do
  70       ::File.rename("#{mediawiki_directory}/LocalSettings.php", "#{mediawiki_directory}/LocalSettings-install.php")
  71     end
  72   end
  73
  74   execute "#{mediawiki_directory}/maintenance/install.php" do
  75     action :nothing
  76     # Use metanamespace as Site Name to ensure correct set namespace
  77     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
  78     cwd mediawiki_directory
  79     user node[:mediawiki][:user]
  80     group node[:mediawiki][:group]
  81     not_if do
  82       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
  83     end
  84     notifies :run, "ruby_block[rename-installer-localsettings]", :immediately
  85   end
  86
  87   execute "#{mediawiki_directory}/maintenance/update.php" do
  88     action :nothing
  89     command "php maintenance/update.php --quick"
  90     cwd mediawiki_directory
  91     user node[:mediawiki][:user]
  92     group node[:mediawiki][:group]
  93   end
  94
  95   declare_resource :directory, site_directory do
  96     owner node[:mediawiki][:user]
  97     group node[:mediawiki][:group]
  98     mode "775"
  99   end
 100
 101   declare_resource :directory, mediawiki_directory do
 102     owner node[:mediawiki][:user]
 103     group node[:mediawiki][:group]
 104     mode "775"
 105   end
 106
 107   mediawiki_reference = "REL#{new_resource.version}".tr(".", "_")
 108
 109   git mediawiki_directory do
 110     action :sync
 111     repository "https://gerrit.wikimedia.org/r/p/mediawiki/core.git"
 112     revision mediawiki_reference
 113     depth 1
 114     user node[:mediawiki][:user]
 115     group node[:mediawiki][:group]
 116     notifies :run, "execute[#{mediawiki_directory}/composer.json]", :immediately
 117     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
 118     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 119   end
 120
 121   execute "#{mediawiki_directory}/composer.json" do
 122     action :nothing
 123     command "composer update --no-dev"
 124     cwd mediawiki_directory
 125     user node[:mediawiki][:user]
 126     group node[:mediawiki][:group]
 127   end
 128
 129   template "#{mediawiki_directory}/composer.local.json" do
 130     cookbook "mediawiki"
 131     source "composer.local.json.erb"
 132     owner node[:mediawiki][:user]
 133     group node[:mediawiki][:group]
 134     mode "664"
 135   end
 136
 137   # Safety catch if git doesn't update but install.php hasn't run
 138   ruby_block "catch-installer-localsettings-run" do
 139     action :run
 140     block do
 141     end
 142     not_if do
 143       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
 144     end
 145     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
 146   end
 147
 148   declare_resource :directory, "#{mediawiki_directory}/images" do
 149     owner "www-data"
 150     group node[:mediawiki][:group]
 151     mode "775"
 152   end
 153
 154   declare_resource :directory, "#{mediawiki_directory}/cache" do
 155     owner "www-data"
 156     group node[:mediawiki][:group]
 157     mode "775"
 158   end
 159
 160   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
 161     user node[:mediawiki][:user]
 162     group node[:mediawiki][:group]
 163     mode "775"
 164   end
 165
 166   template "#{mediawiki_directory}/LocalSettings.php" do
 167     cookbook "mediawiki"
 168     source "LocalSettings.php.erb"
 169     owner node[:mediawiki][:user]
 170     group node[:mediawiki][:group]
 171     mode "664"
 172     variables :name => new_resource.site,
 173               :directory => mediawiki_directory,
 174               :database_params => database_params,
 175               :mediawiki => mediawiki_params
 176     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 177   end
 178
 179   cron_d "mediawiki-#{cron_name}-sitemap" do
 180     comment "Generate sitemap.xml daily"
 181     minute "30"
 182     hour "0"
 183     user node[:mediawiki][:user]
 184     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/generateSitemap.php --server=https://#{new_resource.site} --urlpath=https://#{new_resource.site}/ --fspath=#{site_directory} --quiet --skip-redirects"
 185   end
 186
 187   cron_d "mediawiki-#{cron_name}-jobs" do
 188     comment "Run mediawiki jobs"
 189     minute "*/3"
 190     user node[:mediawiki][:user]
 191     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=160 --memory-limit=2048M --procs=8 --quiet"
 192   end
 193
 194   cron_d "mediawiki-#{cron_name}-email-jobs" do
 195     comment "Run mediawiki email jobs"
 196     user node[:mediawiki][:user]
 197     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=30 --type=enotifNotify --memory-limit=2048M --procs=4 --quiet"
 198   end
 199
 200   cron_d "mediawiki-#{cron_name}-refresh-links" do
 201     comment "Run mediawiki refresh links table weekly"
 202     minute "5"
 203     hour "0"
 204     weekday "0"
 205     user node[:mediawiki][:user]
 206     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/refreshLinks.php --server=https://#{new_resource.site} --memory-limit=2048M --quiet"
 207   end
 208
 209   cron_d "mediawiki-#{cron_name}-cleanup-gs" do
 210     comment "Clean up imagemagick garbage"
 211     minute "10"
 212     hour "2"
 213     user node[:mediawiki][:user]
 214     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'gs_*' -delete"
 215   end
 216
 217   cron_d "mediawiki-#{cron_name}-cleanup-magick" do
 218     comment "Clean up imagemagick garbage"
 219     minute "20"
 220     hour "2"
 221     user node[:mediawiki][:user]
 222     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'magick-*' -delete"
 223   end
 224
 225   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
 226     cookbook "mediawiki"
 227     source "mediawiki-backup.cron.erb"
 228     owner "root"
 229     group "root"
 230     mode "700"
 231     variables :name => new_resource.site,
 232               :directory => site_directory,
 233               :database_params => database_params
 234   end
 235
 236   # MobileFrontend extension is required by MinervaNeue skin
 237   mediawiki_extension "MobileFrontend" do
 238     site new_resource.site
 239     template "mw-ext-MobileFrontend.inc.php.erb"
 240   end
 241
 242   # MobileFrontend extension is required by MinervaNeue skin
 243   mediawiki_skin "MinervaNeue" do
 244     site new_resource.site
 245     update_site false
 246     legacy false
 247   end
 248
 249   mediawiki_skin "CologneBlue" do
 250     site new_resource.site
 251     update_site false
 252     legacy false
 253   end
 254
 255   mediawiki_skin "Modern" do
 256     site new_resource.site
 257     update_site false
 258     legacy false
 259   end
 260
 261   mediawiki_skin "MonoBook" do
 262     site new_resource.site
 263     update_site false
 264     legacy false
 265   end
 266
 267   mediawiki_skin "Vector" do
 268     site new_resource.site
 269     update_site false
 270     legacy false
 271   end
 272
 273   mediawiki_extension "Cite" do
 274     site new_resource.site
 275     update_site false
 276   end
 277
 278   mediawiki_extension "CiteThisPage" do
 279     site new_resource.site
 280     update_site false
 281   end
 282
 283   if new_resource.private_accounts || new_resource.private_site
 284     mediawiki_extension "ConfirmEdit" do
 285       site new_resource.site
 286       update_site false
 287       action :delete
 288     end
 289   else
 290     mediawiki_extension "ConfirmEdit" do
 291       site new_resource.site
 292       template "mw-ext-ConfirmEdit.inc.php.erb"
 293       variables :public_key => new_resource.recaptcha_public_key,
 294                 :private_key => new_resource.recaptcha_private_key
 295       update_site false
 296     end
 297   end
 298
 299   mediawiki_extension "Gadgets" do
 300     site new_resource.site
 301     update_site false
 302   end
 303
 304   mediawiki_extension "ImageMap" do
 305     site new_resource.site
 306     update_site false
 307   end
 308
 309   mediawiki_extension "InputBox" do
 310     site new_resource.site
 311     update_site false
 312   end
 313
 314   mediawiki_extension "Interwiki" do
 315     site new_resource.site
 316     template "mw-ext-Interwiki.inc.php.erb"
 317     update_site false
 318   end
 319
 320   mediawiki_extension "Nuke" do
 321     site new_resource.site
 322     update_site false
 323   end
 324
 325   mediawiki_extension "ParserFunctions" do
 326     site new_resource.site
 327     template "mw-ext-ParserFunctions.inc.php.erb"
 328     update_site false
 329   end
 330
 331   mediawiki_extension "PdfHandler" do
 332     site new_resource.site
 333     template "mw-ext-PdfHandler.inc.php.erb"
 334     update_site false
 335   end
 336
 337   mediawiki_extension "Poem" do
 338     site new_resource.site
 339     update_site false
 340   end
 341
 342   mediawiki_extension "Renameuser" do
 343     site new_resource.site
 344     update_site false
 345   end
 346
 347   mediawiki_extension "SimpleAntiSpam" do
 348     site new_resource.site
 349     update_site false
 350     action :delete
 351   end
 352
 353   mediawiki_extension "SpamBlacklist" do
 354     site new_resource.site
 355     template "mw-ext-SpamBlacklist.inc.php.erb"
 356     update_site false
 357   end
 358
 359   mediawiki_extension "SyntaxHighlight_GeSHi" do
 360     site new_resource.site
 361     template "mw-ext-SyntaxHighlight.inc.php.erb"
 362     update_site false
 363   end
 364
 365   mediawiki_extension "TitleBlacklist" do
 366     site new_resource.site
 367     template "mw-ext-TitleBlacklist.inc.php.erb"
 368     update_site false
 369   end
 370
 371   mediawiki_extension "WikiEditor" do
 372     site new_resource.site
 373     update_site false
 374   end
 375
 376   mediawiki_extension "Babel" do
 377     site new_resource.site
 378     template "mw-ext-Babel.inc.php.erb"
 379     update_site false
 380   end
 381
 382   mediawiki_extension "cldr" do
 383     site new_resource.site
 384     template "mw-ext-cldr.inc.php.erb"
 385     update_site false
 386   end
 387
 388   mediawiki_extension "CleanChanges" do
 389     site new_resource.site
 390     template "mw-ext-CleanChanges.inc.php.erb"
 391     update_site false
 392   end
 393
 394   mediawiki_extension "LocalisationUpdate" do
 395     site new_resource.site
 396     template "mw-ext-LocalisationUpdate.inc.php.erb"
 397     update_site false
 398   end
 399
 400   # mediawiki_extension "Translate" do
 401   #   site new_resource.site
 402   #   template "mw-ext-Translate.inc.php.erb"
 403   #   update_site false
 404   # end
 405
 406   mediawiki_extension "UniversalLanguageSelector" do
 407     site new_resource.site
 408     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
 409     update_site false
 410   end
 411
 412   mediawiki_extension "AntiSpoof" do
 413     site new_resource.site
 414     template "mw-ext-AntiSpoof.inc.php.erb"
 415     update_site false
 416   end
 417
 418   mediawiki_extension "AbuseFilter" do
 419     site new_resource.site
 420     template "mw-ext-AbuseFilter.inc.php.erb"
 421     update_site false
 422   end
 423
 424   mediawiki_extension "CheckUser" do
 425     site new_resource.site
 426     template "mw-ext-CheckUser.inc.php.erb"
 427     update_site false
 428   end
 429
 430   mediawiki_extension "DismissableSiteNotice" do
 431     site new_resource.site
 432     update_site false
 433   end
 434
 435   mediawiki_extension "Elastica" do
 436     site new_resource.site
 437     update_site false
 438   end
 439
 440   mediawiki_extension "CirrusSearch" do
 441     site new_resource.site
 442     template "mw-ext-CirrusSearch.inc.php.erb"
 443     update_site false
 444   end
 445
 446   mediawiki_extension "osmtaginfo" do
 447     site new_resource.site
 448     template "mw-ext-osmtaginfo.inc.php.erb"
 449     repository "https://github.com/Firefishy/osmtaginfo.git"
 450     tag "live"
 451     update_site false
 452   end
 453
 454   mediawiki_extension "SimpleMap" do
 455     site new_resource.site
 456     template "mw-ext-SimpleMap.inc.php.erb"
 457     repository "https://github.com/Firefishy/SimpleMap.git"
 458     tag "live"
 459     update_site false
 460   end
 461
 462   mediawiki_extension "SlippyMap" do
 463     site new_resource.site
 464     template "mw-ext-SlippyMap.inc.php.erb"
 465     repository "https://github.com/Firefishy/SlippyMap.git"
 466     tag "live"
 467     update_site false
 468   end
 469
 470   mediawiki_extension "Mantle" do
 471     site new_resource.site
 472     update_site false
 473     action :delete
 474   end
 475
 476   mediawiki_extension "DisableAccount" do
 477     site new_resource.site
 478     template "mw-ext-DisableAccount.inc.php.erb"
 479     update_site false
 480   end
 481
 482   mediawiki_extension "VisualEditor" do
 483     site new_resource.site
 484     template "mw-ext-VisualEditor.inc.php.erb"
 485     update_site false
 486   end
 487
 488   mediawiki_extension "TemplateData" do
 489     site new_resource.site
 490     update_site false
 491   end
 492
 493   cookbook_file "#{site_directory}/cc-wiki.png" do
 494     cookbook "mediawiki"
 495     owner node[:mediawiki][:user]
 496     group node[:mediawiki][:group]
 497     mode "644"
 498     backup false
 499   end
 500
 501   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
 502     cookbook "mediawiki"
 503     owner node[:mediawiki][:user]
 504     group node[:mediawiki][:group]
 505     mode "644"
 506     backup false
 507   end
 508
 509   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
 510     cookbook "mediawiki"
 511     owner node[:mediawiki][:user]
 512     group node[:mediawiki][:group]
 513     mode "644"
 514     backup false
 515   end
 516
 517   ssl_certificate new_resource.site do
 518     domains [new_resource.site] + Array(new_resource.aliases)
 519   end
 520
 521   php_fpm new_resource.site do
 522     pm_max_children new_resource.fpm_max_children
 523     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
 524     php_values "memory_limit" => "500M",
 525                "max_execution_time" => "240",
 526                "upload_max_filesize" => "70M",
 527                "post_max_size" => "100M"
 528   end
 529
 530   apache_site new_resource.site do
 531     cookbook "mediawiki"
 532     template "apache.erb"
 533     directory site_directory
 534     variables :aliases => Array(new_resource.aliases),
 535               :private_site => new_resource.private_site
 536     reload_apache false
 537   end
 538
 539   # FIXME: needs to run one
 540   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
 541     action :nothing
 542     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
 543     cwd mediawiki_directory
 544     user node[:mediawiki][:user]
 545     group node[:mediawiki][:group]
 546   end
 547 end
 548
 549 action :update do
 550   mediawiki_directory = "#{site_directory}/w"
 551
 552   template "#{mediawiki_directory}/LocalSettings.php" do
 553     cookbook "mediawiki"
 554     source "LocalSettings.php.erb"
 555     owner node[:mediawiki][:user]
 556     group node[:mediawiki][:group]
 557     mode "664"
 558     variables :name => new_resource.site,
 559               :directory => mediawiki_directory,
 560               :database_params => database_params,
 561               :mediawiki => mediawiki_params
 562     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 563   end
 564
 565   execute "#{mediawiki_directory}/maintenance/update.php" do
 566     action :run
 567     command "php maintenance/update.php --quick"
 568     cwd mediawiki_directory
 569     user node[:mediawiki][:user]
 570     group node[:mediawiki][:group]
 571   end
 572 end
 573
 574 action :delete do
 575   apache_site new_resource.site do
 576     action :delete
 577     reload_apache false
 578   end
 579
 580   declare_resource :directory, site_directory do
 581     action :delete
 582     recursive true
 583   end
 584
 585   mysql_database new_resource.database_name do
 586     action :drop
 587   end
 588
 589   mysql_user "#{new_resource.database_user}@localhost" do
 590     action :drop
 591   end
 592 end
 593
 594 action_class do
 595   def site_directory
 596     new_resource.directory || "/srv/#{new_resource.site}"
 597   end
 598
 599   def cron_name
 600     new_resource.site.tr(".", "_")
 601   end
 602
 603   def database_params
 604     {
 605       :host => "localhost",
 606       :name => new_resource.database_name,
 607       :username => new_resource.database_user,
 608       :password => new_resource.database_password
 609     }
 610   end
 611
 612   def mediawiki_params
 613     {
 614       :sitename => new_resource.sitename,
 615       :metanamespace => new_resource.metanamespace,
 616       :logo => new_resource.logo,
 617       :email_contact => new_resource.email_contact,
 618       :email_sender => new_resource.email_sender,
 619       :email_sender_name => new_resource.email_sender_name,
 620       :commons => new_resource.commons,
 621       :skin => new_resource.skin,
 622       :site_notice => new_resource.site_notice,
 623       :site_readonly => new_resource.site_readonly,
 624       :extra_file_extensions => new_resource.extra_file_extensions,
 625       :private_accounts => new_resource.private_accounts,
 626       :private_site => new_resource.private_site
 627     }
 628   end
 629 end
 630
 631 def after_created
 632   notifies :reload, "service[apache2]" if reload_apache
 633 end