cookbooks/mediawiki/resources/site.rb

   1 #
   2 # Cookbook:: mediawiki
   3 # Resource:: mediawiki_site
   4 #
   5 # Copyright:: 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 # https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 default_action :create
  21
  22 property :site, :kind_of => String, :name_property => true
  23 property :aliases, :kind_of => [String, Array]
  24 property :directory, :kind_of => String
  25 property :version, :kind_of => String, :default => "1.35"
  26 property :database_name, :kind_of => String, :required => true
  27 property :database_user, :kind_of => String, :required => [:create, :update]
  28 property :database_password, :kind_of => String, :required => [:create, :update]
  29 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
  30 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
  31 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
  32 property :email_contact, :kind_of => String, :default => ""
  33 property :email_sender, :kind_of => String, :default => ""
  34 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
  35 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
  36 property :skin, :kind_of => String, :default => "vector"
  37 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
  38 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
  39 property :admin_user, :kind_of => String, :default => "Admin"
  40 property :admin_password, :kind_of => String, :required => [:create]
  41 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
  42 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
  43 property :recaptcha_public_key, :kind_of => String
  44 property :recaptcha_private_key, :kind_of => String
  45 property :extra_file_extensions, :kind_of => [String, Array], :default => []
  46 property :fpm_max_children, :kind_of => Integer, :default => 5
  47 property :fpm_start_servers, :kind_of => Integer, :default => 2
  48 property :fpm_min_spare_servers, :kind_of => Integer, :default => 1
  49 property :fpm_max_spare_servers, :kind_of => Integer, :default => 3
  50 property :fpm_request_terminate_timeout, :kind_of => Integer, :default => 300
  51 property :fpm_prometheus_port, :kind_of => Integer
  52 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
  53
  54 action :create do
  55   node.default[:mediawiki][:sites][new_resource.site] = {
  56     :directory => site_directory,
  57     :version => new_resource.version
  58   }
  59
  60   secret_key = persistent_token("mediawiki", new_resource.site, "wgSecretKey")
  61
  62   mysql_user "#{new_resource.database_user}@localhost" do
  63     password new_resource.database_password
  64   end
  65
  66   mysql_database new_resource.database_name do
  67     permissions "#{new_resource.database_user}@localhost" => :all
  68   end
  69
  70   mediawiki_directory = "#{site_directory}/w"
  71
  72   ruby_block "rename-installer-localsettings" do
  73     action :nothing
  74     block do
  75       ::File.rename("#{mediawiki_directory}/LocalSettings.php", "#{mediawiki_directory}/LocalSettings-install.php")
  76     end
  77   end
  78
  79   execute "#{mediawiki_directory}/maintenance/install.php" do
  80     action :nothing
  81     # Use metanamespace as Site Name to ensure correct set namespace
  82     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
  83     cwd mediawiki_directory
  84     user node[:mediawiki][:user]
  85     group node[:mediawiki][:group]
  86     not_if do
  87       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
  88     end
  89     notifies :run, "ruby_block[rename-installer-localsettings]", :immediately
  90   end
  91
  92   execute "#{mediawiki_directory}/maintenance/update.php" do
  93     action :nothing
  94     command "php maintenance/update.php --quick"
  95     cwd mediawiki_directory
  96     user node[:mediawiki][:user]
  97     group node[:mediawiki][:group]
  98   end
  99
 100   declare_resource :directory, site_directory do
 101     owner node[:mediawiki][:user]
 102     group node[:mediawiki][:group]
 103     mode "775"
 104   end
 105
 106   declare_resource :directory, mediawiki_directory do
 107     owner node[:mediawiki][:user]
 108     group node[:mediawiki][:group]
 109     mode "775"
 110   end
 111
 112   git mediawiki_directory do
 113     action :sync
 114     repository "https://gerrit.wikimedia.org/r/mediawiki/core.git"
 115     revision mediawiki_reference
 116     depth 1
 117     user node[:mediawiki][:user]
 118     group node[:mediawiki][:group]
 119     notifies :run, "execute[#{mediawiki_directory}/composer.json]", :immediately
 120     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
 121     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 122   end
 123
 124   execute "#{mediawiki_directory}/composer.json" do
 125     action :nothing
 126     command "composer update --no-dev"
 127     cwd mediawiki_directory
 128     user node[:mediawiki][:user]
 129     group node[:mediawiki][:group]
 130     environment "COMPOSER_HOME" => site_directory
 131   end
 132
 133   template "#{mediawiki_directory}/composer.local.json" do
 134     cookbook "mediawiki"
 135     source "composer.local.json.erb"
 136     owner node[:mediawiki][:user]
 137     group node[:mediawiki][:group]
 138     mode "664"
 139   end
 140
 141   # Safety catch if git doesn't update but install.php hasn't run
 142   ruby_block "catch-installer-localsettings-run" do
 143     action :run
 144     block do
 145     end
 146     not_if do
 147       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
 148     end
 149     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
 150   end
 151
 152   declare_resource :directory, "#{mediawiki_directory}/images" do
 153     owner "www-data"
 154     group node[:mediawiki][:group]
 155     mode "775"
 156   end
 157
 158   declare_resource :directory, "#{mediawiki_directory}/cache" do
 159     owner "www-data"
 160     group node[:mediawiki][:group]
 161     mode "775"
 162   end
 163
 164   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
 165     user node[:mediawiki][:user]
 166     group node[:mediawiki][:group]
 167     mode "775"
 168   end
 169
 170   template "#{mediawiki_directory}/LocalSettings.php" do
 171     cookbook "mediawiki"
 172     source "LocalSettings.php.erb"
 173     owner node[:mediawiki][:user]
 174     group node[:mediawiki][:group]
 175     mode "664"
 176     variables :name => new_resource.site,
 177               :directory => mediawiki_directory,
 178               :database_params => database_params,
 179               :mediawiki => mediawiki_params,
 180               :secret_key => secret_key
 181     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 182   end
 183
 184   cron_d "mediawiki-#{cron_name}-sitemap" do
 185     comment "Generate sitemap.xml daily"
 186     minute "30"
 187     hour "0"
 188     user node[:mediawiki][:user]
 189     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/generateSitemap.php --server=https://#{new_resource.site} --urlpath=https://#{new_resource.site}/ --fspath=#{site_directory} --quiet --skip-redirects"
 190   end
 191
 192   cron_d "mediawiki-#{cron_name}-jobs" do
 193     comment "Run mediawiki jobs"
 194     minute "*/3"
 195     user node[:mediawiki][:user]
 196     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=160 --memory-limit=2048M --procs=8 --quiet"
 197   end
 198
 199   cron_d "mediawiki-#{cron_name}-email-jobs" do
 200     comment "Run mediawiki email jobs"
 201     user node[:mediawiki][:user]
 202     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=30 --type=enotifNotify --memory-limit=2048M --procs=4 --quiet"
 203   end
 204
 205   cron_d "mediawiki-#{cron_name}-refresh-links" do
 206     comment "Run mediawiki refresh links table weekly"
 207     minute "5"
 208     hour "0"
 209     weekday "0"
 210     user node[:mediawiki][:user]
 211     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/refreshLinks.php --server=https://#{new_resource.site} --memory-limit=2048M --quiet"
 212   end
 213
 214   cron_d "mediawiki-#{cron_name}-cleanup-gs" do
 215     comment "Clean up imagemagick garbage"
 216     minute "10"
 217     hour "2"
 218     user node[:mediawiki][:user]
 219     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'gs_*' -delete"
 220   end
 221
 222   cron_d "mediawiki-#{cron_name}-cleanup-magick" do
 223     comment "Clean up imagemagick garbage"
 224     minute "20"
 225     hour "2"
 226     user node[:mediawiki][:user]
 227     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'magick-*' -delete"
 228   end
 229
 230   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
 231     cookbook "mediawiki"
 232     source "mediawiki-backup.cron.erb"
 233     owner "root"
 234     group "root"
 235     mode "700"
 236     variables :name => new_resource.site,
 237               :directory => site_directory,
 238               :database_params => database_params
 239   end
 240
 241   # MobileFrontend extension is required by MinervaNeue skin
 242   mediawiki_extension "MobileFrontend" do
 243     site new_resource.site
 244     template "mw-ext-MobileFrontend.inc.php.erb"
 245   end
 246
 247   # MobileFrontend extension is required by MinervaNeue skin
 248   mediawiki_skin "MinervaNeue" do
 249     site new_resource.site
 250     update_site false
 251     legacy false
 252   end
 253
 254   mediawiki_skin "CologneBlue" do
 255     site new_resource.site
 256     update_site false
 257     legacy false
 258   end
 259
 260   mediawiki_skin "Modern" do
 261     site new_resource.site
 262     update_site false
 263     legacy false
 264   end
 265
 266   mediawiki_skin "MonoBook" do
 267     site new_resource.site
 268     update_site false
 269     legacy false
 270   end
 271
 272   mediawiki_skin "Vector" do
 273     site new_resource.site
 274     update_site false
 275     legacy false
 276   end
 277
 278   mediawiki_extension "Cite" do
 279     site new_resource.site
 280     update_site false
 281   end
 282
 283   mediawiki_extension "CiteThisPage" do
 284     site new_resource.site
 285     update_site false
 286   end
 287
 288   if new_resource.private_accounts || new_resource.private_site
 289     mediawiki_extension "ConfirmEdit" do
 290       site new_resource.site
 291       update_site false
 292       action :delete
 293     end
 294   else
 295     mediawiki_extension "ConfirmEdit" do
 296       site new_resource.site
 297       template "mw-ext-ConfirmEdit.inc.php.erb"
 298       variables :public_key => new_resource.recaptcha_public_key,
 299                 :private_key => new_resource.recaptcha_private_key
 300       update_site false
 301     end
 302   end
 303
 304   mediawiki_extension "Gadgets" do
 305     site new_resource.site
 306     update_site false
 307   end
 308
 309   mediawiki_extension "ImageMap" do
 310     site new_resource.site
 311     update_site false
 312   end
 313
 314   mediawiki_extension "InputBox" do
 315     site new_resource.site
 316     update_site false
 317   end
 318
 319   mediawiki_extension "Interwiki" do
 320     site new_resource.site
 321     template "mw-ext-Interwiki.inc.php.erb"
 322     update_site false
 323   end
 324
 325   mediawiki_extension "Nuke" do
 326     site new_resource.site
 327     update_site false
 328   end
 329
 330   mediawiki_extension "ParserFunctions" do
 331     site new_resource.site
 332     template "mw-ext-ParserFunctions.inc.php.erb"
 333     update_site false
 334   end
 335
 336   mediawiki_extension "PdfHandler" do
 337     site new_resource.site
 338     template "mw-ext-PdfHandler.inc.php.erb"
 339     update_site false
 340   end
 341
 342   mediawiki_extension "Poem" do
 343     site new_resource.site
 344     update_site false
 345   end
 346
 347   mediawiki_extension "Renameuser" do
 348     site new_resource.site
 349     update_site false
 350   end
 351
 352   mediawiki_extension "SimpleAntiSpam" do
 353     site new_resource.site
 354     update_site false
 355     action :delete
 356   end
 357
 358   mediawiki_extension "SpamBlacklist" do
 359     site new_resource.site
 360     template "mw-ext-SpamBlacklist.inc.php.erb"
 361     update_site false
 362   end
 363
 364   mediawiki_extension "SyntaxHighlight_GeSHi" do
 365     site new_resource.site
 366     template "mw-ext-SyntaxHighlight.inc.php.erb"
 367     update_site false
 368   end
 369
 370   mediawiki_extension "TitleBlacklist" do
 371     site new_resource.site
 372     template "mw-ext-TitleBlacklist.inc.php.erb"
 373     update_site false
 374   end
 375
 376   mediawiki_extension "WikiEditor" do
 377     site new_resource.site
 378     update_site false
 379   end
 380
 381   mediawiki_extension "Babel" do
 382     site new_resource.site
 383     template "mw-ext-Babel.inc.php.erb"
 384     update_site false
 385   end
 386
 387   mediawiki_extension "cldr" do
 388     site new_resource.site
 389     template "mw-ext-cldr.inc.php.erb"
 390     update_site false
 391   end
 392
 393   mediawiki_extension "CleanChanges" do
 394     site new_resource.site
 395     template "mw-ext-CleanChanges.inc.php.erb"
 396     update_site false
 397   end
 398
 399   mediawiki_extension "LocalisationUpdate" do
 400     site new_resource.site
 401     template "mw-ext-LocalisationUpdate.inc.php.erb"
 402     update_site false
 403   end
 404
 405   # mediawiki_extension "Translate" do
 406   #   site new_resource.site
 407   #   template "mw-ext-Translate.inc.php.erb"
 408   #   update_site false
 409   # end
 410
 411   mediawiki_extension "UniversalLanguageSelector" do
 412     site new_resource.site
 413     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
 414     update_site false
 415   end
 416
 417   mediawiki_extension "AntiSpoof" do
 418     site new_resource.site
 419     template "mw-ext-AntiSpoof.inc.php.erb"
 420     update_site false
 421   end
 422
 423   mediawiki_extension "AbuseFilter" do
 424     site new_resource.site
 425     template "mw-ext-AbuseFilter.inc.php.erb"
 426     update_site false
 427   end
 428
 429   mediawiki_extension "CheckUser" do
 430     site new_resource.site
 431     template "mw-ext-CheckUser.inc.php.erb"
 432     update_site false
 433   end
 434
 435   mediawiki_extension "DismissableSiteNotice" do
 436     site new_resource.site
 437     update_site false
 438   end
 439
 440   mediawiki_extension "Elastica" do
 441     site new_resource.site
 442     update_site false
 443   end
 444
 445   mediawiki_extension "CirrusSearch" do
 446     site new_resource.site
 447     template "mw-ext-CirrusSearch.inc.php.erb"
 448     update_site false
 449   end
 450
 451   mediawiki_extension "osmtaginfo" do
 452     site new_resource.site
 453     template "mw-ext-osmtaginfo.inc.php.erb"
 454     repository "https://github.com/Firefishy/osmtaginfo.git"
 455     tag "live"
 456     update_site false
 457   end
 458
 459   mediawiki_extension "OSMCALWikiWidget" do
 460     site new_resource.site
 461     repository "https://github.com/thomersch/OSMCALWikiWidget.git"
 462     tag "live"
 463     update_site false
 464   end
 465
 466   mediawiki_extension "SimpleMap" do
 467     site new_resource.site
 468     template "mw-ext-SimpleMap.inc.php.erb"
 469     repository "https://github.com/Firefishy/SimpleMap.git"
 470     tag "live"
 471     update_site false
 472   end
 473
 474   mediawiki_extension "SlippyMap" do
 475     site new_resource.site
 476     update_site false
 477     action :delete
 478   end
 479
 480   mediawiki_extension "Mantle" do
 481     site new_resource.site
 482     update_site false
 483     action :delete
 484   end
 485
 486   mediawiki_extension "DisableAccount" do
 487     site new_resource.site
 488     template "mw-ext-DisableAccount.inc.php.erb"
 489     update_site false
 490   end
 491
 492   mediawiki_extension "VisualEditor" do
 493     site new_resource.site
 494     template "mw-ext-VisualEditor.inc.php.erb"
 495     update_site false
 496   end
 497
 498   mediawiki_extension "TemplateData" do
 499     site new_resource.site
 500     update_site false
 501   end
 502
 503   cookbook_file "#{site_directory}/cc-wiki.png" do
 504     cookbook "mediawiki"
 505     owner node[:mediawiki][:user]
 506     group node[:mediawiki][:group]
 507     mode "644"
 508     backup false
 509   end
 510
 511   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
 512     cookbook "mediawiki"
 513     owner node[:mediawiki][:user]
 514     group node[:mediawiki][:group]
 515     mode "644"
 516     backup false
 517   end
 518
 519   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
 520     cookbook "mediawiki"
 521     owner node[:mediawiki][:user]
 522     group node[:mediawiki][:group]
 523     mode "644"
 524     backup false
 525   end
 526
 527   ssl_certificate new_resource.site do
 528     domains [new_resource.site] + Array(new_resource.aliases)
 529   end
 530
 531   php_fpm new_resource.site do
 532     pm_max_children new_resource.fpm_max_children
 533     pm_start_servers new_resource.fpm_start_servers
 534     pm_min_spare_servers new_resource.fpm_min_spare_servers
 535     pm_max_spare_servers new_resource.fpm_max_spare_servers
 536     request_terminate_timeout new_resource.fpm_request_terminate_timeout
 537     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
 538     php_values "memory_limit" => "500M",
 539                "max_execution_time" => "240",
 540                "upload_max_filesize" => "70M",
 541                "post_max_size" => "100M"
 542     prometheus_port new_resource.fpm_prometheus_port
 543   end
 544
 545   apache_site new_resource.site do
 546     cookbook "mediawiki"
 547     template "apache.erb"
 548     directory site_directory
 549     variables :aliases => Array(new_resource.aliases),
 550               :private_site => new_resource.private_site
 551     reload_apache false
 552   end
 553
 554   # FIXME: needs to run one
 555   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
 556     action :nothing
 557     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
 558     cwd mediawiki_directory
 559     user node[:mediawiki][:user]
 560     group node[:mediawiki][:group]
 561   end
 562 end
 563
 564 action :update do
 565   mediawiki_directory = "#{site_directory}/w"
 566
 567   template "#{mediawiki_directory}/LocalSettings.php" do
 568     cookbook "mediawiki"
 569     source "LocalSettings.php.erb"
 570     owner node[:mediawiki][:user]
 571     group node[:mediawiki][:group]
 572     mode "664"
 573     variables :name => new_resource.site,
 574               :directory => mediawiki_directory,
 575               :database_params => database_params,
 576               :mediawiki => mediawiki_params
 577     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 578   end
 579
 580   execute "#{mediawiki_directory}/maintenance/update.php" do
 581     action :run
 582     command "php maintenance/update.php --quick"
 583     cwd mediawiki_directory
 584     user node[:mediawiki][:user]
 585     group node[:mediawiki][:group]
 586   end
 587 end
 588
 589 action :delete do
 590   apache_site new_resource.site do
 591     action :delete
 592     reload_apache false
 593   end
 594
 595   declare_resource :directory, site_directory do
 596     action :delete
 597     recursive true
 598   end
 599
 600   mysql_database new_resource.database_name do
 601     action :drop
 602   end
 603
 604   mysql_user "#{new_resource.database_user}@localhost" do
 605     action :drop
 606   end
 607 end
 608
 609 action_class do
 610   include Chef::Mixin::PersistentToken
 611
 612   def site_directory
 613     new_resource.directory || "/srv/#{new_resource.site}"
 614   end
 615
 616   def mediawiki_reference
 617     shell_out!("git", "ls-remote", "--refs", "--sort=-version:refname",
 618                "https://gerrit.wikimedia.org/r/mediawiki/core.git",
 619                "refs/tags/#{new_resource.version}.*")
 620       .stdout
 621       .split("\n")
 622       .first
 623       .split("/")
 624       .last
 625   end
 626
 627   def cron_name
 628     new_resource.site.tr(".", "_")
 629   end
 630
 631   def database_params
 632     {
 633       :host => "localhost",
 634       :name => new_resource.database_name,
 635       :username => new_resource.database_user,
 636       :password => new_resource.database_password
 637     }
 638   end
 639
 640   def mediawiki_params
 641     {
 642       :sitename => new_resource.sitename,
 643       :metanamespace => new_resource.metanamespace,
 644       :logo => new_resource.logo,
 645       :email_contact => new_resource.email_contact,
 646       :email_sender => new_resource.email_sender,
 647       :email_sender_name => new_resource.email_sender_name,
 648       :commons => new_resource.commons,
 649       :skin => new_resource.skin,
 650       :site_notice => new_resource.site_notice,
 651       :site_readonly => new_resource.site_readonly,
 652       :extra_file_extensions => new_resource.extra_file_extensions,
 653       :private_accounts => new_resource.private_accounts,
 654       :private_site => new_resource.private_site
 655     }
 656   end
 657 end
 658
 659 def after_created
 660   notifies :reload, "service[apache2]" if reload_apache
 661 end