cookbooks/mediawiki/resources/site.rb

   1 #
   2 # Cookbook:: mediawiki
   3 # Resource:: mediawiki_site
   4 #
   5 # Copyright:: 2015, OpenStreetMap Foundation
   6 #
   7 # Licensed under the Apache License, Version 2.0 (the "License");
   8 # you may not use this file except in compliance with the License.
   9 # You may obtain a copy of the License at
  10 #
  11 # https://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 unified_mode true
  21
  22 default_action :create
  23
  24 property :site, :kind_of => String, :name_property => true
  25 property :aliases, :kind_of => [String, Array]
  26 property :directory, :kind_of => String
  27 property :version, :kind_of => String, :default => "1.37"
  28 property :database_name, :kind_of => String, :required => true
  29 property :database_user, :kind_of => String, :required => [:create, :update]
  30 property :database_password, :kind_of => String, :required => [:create, :update]
  31 property :sitename, :kind_of => String, :default => "OpenStreetMap Wiki"
  32 property :metanamespace, :kind_of => String, :default => "OpenStreetMap"
  33 property :logo, :kind_of => String, :default => "$wgStylePath/common/images/wiki.png"
  34 property :email_contact, :kind_of => String, :default => ""
  35 property :email_sender, :kind_of => String, :default => ""
  36 property :email_sender_name, :kind_of => String, :default => "MediaWiki Mail"
  37 property :commons, :kind_of => [TrueClass, FalseClass], :default => true
  38 property :skin, :kind_of => String, :default => "vector"
  39 property :site_notice, :kind_of => [String, TrueClass, FalseClass], :default => false
  40 property :site_readonly, :kind_of => [String, TrueClass, FalseClass], :default => false
  41 property :admin_user, :kind_of => String, :default => "Admin"
  42 property :admin_password, :kind_of => String, :required => [:create]
  43 property :private_accounts, :kind_of => [TrueClass, FalseClass], :default => false
  44 property :private_site, :kind_of => [TrueClass, FalseClass], :default => false
  45 property :hcaptcha_public_key, :kind_of => String, :default => ""
  46 property :hcaptcha_private_key, :kind_of => String, :default => ""
  47 property :extra_file_extensions, :kind_of => [String, Array], :default => []
  48 property :fpm_max_children, :kind_of => Integer, :default => 5
  49 property :fpm_start_servers, :kind_of => Integer, :default => 2
  50 property :fpm_min_spare_servers, :kind_of => Integer, :default => 1
  51 property :fpm_max_spare_servers, :kind_of => Integer, :default => 3
  52 property :fpm_request_terminate_timeout, :kind_of => Integer, :default => 300
  53 property :fpm_prometheus_port, :kind_of => Integer
  54 property :reload_apache, :kind_of => [TrueClass, FalseClass], :default => true
  55
  56 action :create do
  57   node.default[:mediawiki][:sites][new_resource.site] = {
  58     :directory => site_directory,
  59     :version => new_resource.version
  60   }
  61
  62   secret_key = persistent_token("mediawiki", new_resource.site, "wgSecretKey")
  63
  64   mysql_user "#{new_resource.database_user}@localhost" do
  65     password new_resource.database_password
  66   end
  67
  68   mysql_database new_resource.database_name do
  69     permissions "#{new_resource.database_user}@localhost" => :all
  70   end
  71
  72   mediawiki_directory = "#{site_directory}/w"
  73
  74   ruby_block "rename-installer-localsettings" do
  75     action :nothing
  76     block do
  77       ::File.rename("#{mediawiki_directory}/LocalSettings.php", "#{mediawiki_directory}/LocalSettings-install.php")
  78     end
  79   end
  80
  81   declare_resource :directory, site_directory do
  82     owner node[:mediawiki][:user]
  83     group node[:mediawiki][:group]
  84     mode "775"
  85   end
  86
  87   declare_resource :directory, mediawiki_directory do
  88     owner node[:mediawiki][:user]
  89     group node[:mediawiki][:group]
  90     mode "775"
  91   end
  92
  93   git mediawiki_directory do
  94     action :sync
  95     repository "https://gerrit.wikimedia.org/r/mediawiki/core.git"
  96     revision mediawiki_reference
  97     depth 1
  98     user node[:mediawiki][:user]
  99     group node[:mediawiki][:group]
 100     notifies :run, "execute[#{mediawiki_directory}/composer.json]", :immediately
 101     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
 102     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 103   end
 104
 105   template "#{mediawiki_directory}/composer.local.json" do
 106     cookbook "mediawiki"
 107     source "composer.local.json.erb"
 108     owner node[:mediawiki][:user]
 109     group node[:mediawiki][:group]
 110     mode "664"
 111   end
 112
 113   execute "#{mediawiki_directory}/composer.json" do
 114     action :nothing
 115     command "composer update --no-dev"
 116     cwd mediawiki_directory
 117     user node[:mediawiki][:user]
 118     group node[:mediawiki][:group]
 119     environment "COMPOSER_HOME" => site_directory
 120   end
 121
 122   execute "#{mediawiki_directory}/maintenance/install.php" do
 123     action :nothing
 124     # Use metanamespace as Site Name to ensure correct set namespace
 125     command "php maintenance/install.php --server '#{name}' --dbtype 'mysql' --dbname '#{new_resource.database_name}' --dbuser '#{new_resource.database_user}' --dbpass '#{new_resource.database_password}' --dbserver 'localhost' --scriptpath /w --pass '#{new_resource.admin_password}' '#{new_resource.metanamespace}' '#{new_resource.admin_user}'"
 126     cwd mediawiki_directory
 127     user node[:mediawiki][:user]
 128     group node[:mediawiki][:group]
 129     not_if do
 130       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
 131     end
 132     notifies :run, "ruby_block[rename-installer-localsettings]", :immediately
 133   end
 134
 135   execute "#{mediawiki_directory}/maintenance/update.php" do
 136     action :nothing
 137     command "php maintenance/update.php --quick"
 138     cwd mediawiki_directory
 139     user node[:mediawiki][:user]
 140     group node[:mediawiki][:group]
 141   end
 142
 143   # Safety catch if git doesn't update but install.php hasn't run
 144   ruby_block "catch-installer-localsettings-run" do
 145     action :run
 146     block do
 147     end
 148     not_if do
 149       ::File.exist?("#{mediawiki_directory}/LocalSettings-install.php")
 150     end
 151     notifies :run, "execute[#{mediawiki_directory}/maintenance/install.php]", :immediately
 152   end
 153
 154   declare_resource :directory, "#{mediawiki_directory}/images" do
 155     owner "www-data"
 156     group node[:mediawiki][:group]
 157     mode "775"
 158   end
 159
 160   declare_resource :directory, "#{mediawiki_directory}/cache" do
 161     owner "www-data"
 162     group node[:mediawiki][:group]
 163     mode "775"
 164   end
 165
 166   declare_resource :directory, "#{mediawiki_directory}/LocalSettings.d" do
 167     user node[:mediawiki][:user]
 168     group node[:mediawiki][:group]
 169     mode "775"
 170   end
 171
 172   template "#{mediawiki_directory}/LocalSettings.php" do
 173     cookbook "mediawiki"
 174     source "LocalSettings.php.erb"
 175     owner node[:mediawiki][:user]
 176     group node[:mediawiki][:group]
 177     mode "664"
 178     variables :name => new_resource.site,
 179               :directory => mediawiki_directory,
 180               :database_params => database_params,
 181               :mediawiki => mediawiki_params,
 182               :secret_key => secret_key
 183     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 184   end
 185
 186   cron_d "mediawiki-#{cron_name}-sitemap" do
 187     comment "Generate sitemap.xml daily"
 188     minute "30"
 189     hour "0"
 190     user node[:mediawiki][:user]
 191     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/generateSitemap.php --server=https://#{new_resource.site} --urlpath=https://#{new_resource.site}/ --fspath=#{site_directory} --quiet --skip-redirects"
 192   end
 193
 194   cron_d "mediawiki-#{cron_name}-jobs" do
 195     comment "Run mediawiki jobs"
 196     minute "*/3"
 197     user node[:mediawiki][:user]
 198     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=160 --memory-limit=2048M --procs=8 --quiet"
 199   end
 200
 201   cron_d "mediawiki-#{cron_name}-email-jobs" do
 202     comment "Run mediawiki email jobs"
 203     user node[:mediawiki][:user]
 204     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/runJobs.php --server=https://#{new_resource.site} --maxtime=30 --type=enotifNotify --memory-limit=2048M --procs=4 --quiet"
 205   end
 206
 207   cron_d "mediawiki-#{cron_name}-refresh-links" do
 208     comment "Run mediawiki refresh links table daily"
 209     minute "5"
 210     hour "0"
 211     user node[:mediawiki][:user]
 212     command "/usr/bin/nice /usr/bin/php -d memory_limit=2048M -d error_reporting=22517 #{site_directory}/w/maintenance/refreshLinks.php --server=https://#{new_resource.site} --memory-limit=2048M  --procs=4 --quiet"
 213   end
 214
 215   cron_d "mediawiki-#{cron_name}-cleanup-gs" do
 216     comment "Clean up imagemagick garbage"
 217     minute "10"
 218     hour "2"
 219     user node[:mediawiki][:user]
 220     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'gs_*' -delete"
 221   end
 222
 223   cron_d "mediawiki-#{cron_name}-cleanup-magick" do
 224     comment "Clean up imagemagick garbage"
 225     minute "20"
 226     hour "2"
 227     user node[:mediawiki][:user]
 228     command "/usr/bin/find /tmp/ -maxdepth 1 -type f -user www-data -mmin +90 -name 'magick-*' -delete"
 229   end
 230
 231   template "/etc/cron.daily/mediawiki-#{cron_name}-backup" do
 232     cookbook "mediawiki"
 233     source "mediawiki-backup.cron.erb"
 234     owner "root"
 235     group "root"
 236     mode "700"
 237     variables :name => new_resource.site,
 238               :directory => site_directory,
 239               :database_params => database_params
 240   end
 241
 242   # MobileFrontend extension is required by MinervaNeue skin
 243   mediawiki_extension "MobileFrontend" do
 244     site new_resource.site
 245     template "mw-ext-MobileFrontend.inc.php.erb"
 246   end
 247
 248   # MobileFrontend extension is required by MinervaNeue skin
 249   mediawiki_skin "MinervaNeue" do
 250     site new_resource.site
 251     update_site false
 252     legacy false
 253   end
 254
 255   mediawiki_skin "CologneBlue" do
 256     site new_resource.site
 257     update_site false
 258     legacy false
 259   end
 260
 261   mediawiki_skin "Modern" do
 262     site new_resource.site
 263     update_site false
 264     legacy false
 265   end
 266
 267   mediawiki_skin "MonoBook" do
 268     site new_resource.site
 269     update_site false
 270     legacy false
 271   end
 272
 273   mediawiki_skin "Vector" do
 274     site new_resource.site
 275     update_site false
 276     legacy false
 277   end
 278
 279   mediawiki_extension "Cite" do
 280     site new_resource.site
 281     update_site false
 282   end
 283
 284   mediawiki_extension "CiteThisPage" do
 285     site new_resource.site
 286     update_site false
 287   end
 288
 289   if new_resource.private_accounts || new_resource.private_site
 290     mediawiki_extension "ConfirmEdit" do
 291       site new_resource.site
 292       update_site false
 293       action :delete
 294     end
 295   else
 296     mediawiki_extension "ConfirmEdit" do
 297       site new_resource.site
 298       template "mw-ext-ConfirmEdit.inc.php.erb"
 299       variables :public_key => new_resource.hcaptcha_public_key,
 300                 :private_key => new_resource.hcaptcha_private_key
 301       update_site false
 302     end
 303   end
 304
 305   mediawiki_extension "Gadgets" do
 306     site new_resource.site
 307     update_site false
 308   end
 309
 310   mediawiki_extension "ImageMap" do
 311     site new_resource.site
 312     update_site false
 313   end
 314
 315   mediawiki_extension "InputBox" do
 316     site new_resource.site
 317     update_site false
 318   end
 319
 320   mediawiki_extension "Interwiki" do
 321     site new_resource.site
 322     template "mw-ext-Interwiki.inc.php.erb"
 323     update_site false
 324   end
 325
 326   mediawiki_extension "Nuke" do
 327     site new_resource.site
 328     update_site false
 329   end
 330
 331   mediawiki_extension "ParserFunctions" do
 332     site new_resource.site
 333     template "mw-ext-ParserFunctions.inc.php.erb"
 334     update_site false
 335   end
 336
 337   mediawiki_extension "PdfHandler" do
 338     site new_resource.site
 339     template "mw-ext-PdfHandler.inc.php.erb"
 340     update_site false
 341   end
 342
 343   mediawiki_extension "Poem" do
 344     site new_resource.site
 345     update_site false
 346   end
 347
 348   mediawiki_extension "Renameuser" do
 349     site new_resource.site
 350     update_site false
 351   end
 352
 353   mediawiki_extension "SimpleAntiSpam" do
 354     site new_resource.site
 355     update_site false
 356     action :delete
 357   end
 358
 359   mediawiki_extension "SpamBlacklist" do
 360     site new_resource.site
 361     template "mw-ext-SpamBlacklist.inc.php.erb"
 362     update_site false
 363   end
 364
 365   mediawiki_extension "SyntaxHighlight_GeSHi" do
 366     site new_resource.site
 367     template "mw-ext-SyntaxHighlight.inc.php.erb"
 368     update_site false
 369   end
 370
 371   mediawiki_extension "TitleBlacklist" do
 372     site new_resource.site
 373     template "mw-ext-TitleBlacklist.inc.php.erb"
 374     update_site false
 375   end
 376
 377   mediawiki_extension "WikiEditor" do
 378     site new_resource.site
 379     update_site false
 380   end
 381
 382   mediawiki_extension "Babel" do
 383     site new_resource.site
 384     template "mw-ext-Babel.inc.php.erb"
 385     update_site false
 386   end
 387
 388   mediawiki_extension "CategoryTree" do
 389     site new_resource.site
 390     update_site false
 391   end
 392
 393   mediawiki_extension "cldr" do
 394     site new_resource.site
 395     template "mw-ext-cldr.inc.php.erb"
 396     update_site false
 397   end
 398
 399   mediawiki_extension "CleanChanges" do
 400     site new_resource.site
 401     template "mw-ext-CleanChanges.inc.php.erb"
 402     update_site false
 403   end
 404
 405   mediawiki_extension "LocalisationUpdate" do
 406     site new_resource.site
 407     template "mw-ext-LocalisationUpdate.inc.php.erb"
 408     update_site false
 409   end
 410
 411   # mediawiki_extension "Translate" do
 412   #   site new_resource.site
 413   #   template "mw-ext-Translate.inc.php.erb"
 414   #   update_site false
 415   # end
 416
 417   mediawiki_extension "UniversalLanguageSelector" do
 418     site new_resource.site
 419     template "mw-ext-UniversalLanguageSelector.inc.php.erb"
 420     update_site false
 421   end
 422
 423   mediawiki_extension "AntiSpoof" do
 424     site new_resource.site
 425     template "mw-ext-AntiSpoof.inc.php.erb"
 426     update_site false
 427   end
 428
 429   mediawiki_extension "AbuseFilter" do
 430     site new_resource.site
 431     template "mw-ext-AbuseFilter.inc.php.erb"
 432     update_site false
 433   end
 434
 435   mediawiki_extension "CheckUser" do
 436     site new_resource.site
 437     template "mw-ext-CheckUser.inc.php.erb"
 438     update_site false
 439   end
 440
 441   mediawiki_extension "DismissableSiteNotice" do
 442     site new_resource.site
 443     update_site false
 444   end
 445
 446   mediawiki_extension "Elastica" do
 447     site new_resource.site
 448     update_site false
 449   end
 450
 451   mediawiki_extension "CirrusSearch" do
 452     site new_resource.site
 453     template "mw-ext-CirrusSearch.inc.php.erb"
 454     update_site false
 455   end
 456
 457   mediawiki_extension "osmtaginfo" do
 458     site new_resource.site
 459     repository "https://github.com/Firefishy/osmtaginfo.git"
 460     tag "live"
 461     update_site false
 462   end
 463
 464   mediawiki_extension "OSMCALWikiWidget" do
 465     site new_resource.site
 466     repository "https://github.com/thomersch/OSMCALWikiWidget.git"
 467     tag "live"
 468     update_site false
 469   end
 470
 471   mediawiki_extension "SimpleMap" do
 472     site new_resource.site
 473     template "mw-ext-SimpleMap.inc.php.erb"
 474     repository "https://github.com/Firefishy/SimpleMap.git"
 475     tag "live"
 476     update_site false
 477     action :delete
 478   end
 479
 480   mediawiki_extension "SlippyMap" do
 481     site new_resource.site
 482     update_site false
 483     action :delete
 484   end
 485
 486   mediawiki_extension "Mantle" do
 487     site new_resource.site
 488     update_site false
 489     action :delete
 490   end
 491
 492   mediawiki_extension "DisableAccount" do
 493     site new_resource.site
 494     template "mw-ext-DisableAccount.inc.php.erb"
 495     update_site false
 496   end
 497
 498   mediawiki_extension "VisualEditor" do
 499     site new_resource.site
 500     template "mw-ext-VisualEditor.inc.php.erb"
 501     variables :version => new_resource.version
 502     update_site false
 503   end
 504
 505   mediawiki_extension "TemplateData" do
 506     site new_resource.site
 507     update_site false
 508   end
 509
 510   if new_resource.commons
 511     mediawiki_extension "QuickInstantCommons" do
 512       site new_resource.site
 513       update_site false
 514       reference "master"
 515     end
 516   else
 517     mediawiki_extension "QuickInstantCommons" do
 518       site new_resource.site
 519       update_site false
 520       action :delete
 521     end
 522   end
 523
 524   cookbook_file "#{site_directory}/cc-wiki.png" do
 525     cookbook "mediawiki"
 526     owner node[:mediawiki][:user]
 527     group node[:mediawiki][:group]
 528     mode "644"
 529     backup false
 530   end
 531
 532   cookbook_file "#{site_directory}/googled06a989d1ccc8364.html" do
 533     cookbook "mediawiki"
 534     owner node[:mediawiki][:user]
 535     group node[:mediawiki][:group]
 536     mode "644"
 537     backup false
 538   end
 539
 540   cookbook_file "#{site_directory}/googlefac54c35e800caab.html" do
 541     cookbook "mediawiki"
 542     owner node[:mediawiki][:user]
 543     group node[:mediawiki][:group]
 544     mode "644"
 545     backup false
 546   end
 547
 548   ssl_certificate new_resource.site do
 549     domains [new_resource.site] + Array(new_resource.aliases)
 550   end
 551
 552   php_fpm new_resource.site do
 553     pm_max_children new_resource.fpm_max_children
 554     pm_start_servers new_resource.fpm_start_servers
 555     pm_min_spare_servers new_resource.fpm_min_spare_servers
 556     pm_max_spare_servers new_resource.fpm_max_spare_servers
 557     request_terminate_timeout new_resource.fpm_request_terminate_timeout
 558     php_admin_values "open_basedir" => "#{site_directory}/:/usr/share/php/:/dev/null:/tmp/"
 559     php_values "memory_limit" => "500M",
 560                "max_execution_time" => "240",
 561                "upload_max_filesize" => "70M",
 562                "post_max_size" => "100M"
 563     prometheus_port new_resource.fpm_prometheus_port
 564   end
 565
 566   apache_site new_resource.site do
 567     cookbook "mediawiki"
 568     template "apache.erb"
 569     directory site_directory
 570     variables :aliases => Array(new_resource.aliases),
 571               :private_site => new_resource.private_site
 572     reload_apache false
 573   end
 574
 575   # FIXME: needs to run one
 576   execute "#{mediawiki_directory}/extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php" do
 577     action :nothing
 578     command "php extensions/CirrusSearch/maintenance/updateSearchIndexConfig.php"
 579     cwd mediawiki_directory
 580     user node[:mediawiki][:user]
 581     group node[:mediawiki][:group]
 582   end
 583 end
 584
 585 action :update do
 586   mediawiki_directory = "#{site_directory}/w"
 587
 588   template "#{mediawiki_directory}/LocalSettings.php" do
 589     cookbook "mediawiki"
 590     source "LocalSettings.php.erb"
 591     owner node[:mediawiki][:user]
 592     group node[:mediawiki][:group]
 593     mode "664"
 594     variables :name => new_resource.site,
 595               :directory => mediawiki_directory,
 596               :database_params => database_params,
 597               :mediawiki => mediawiki_params
 598     notifies :run, "execute[#{mediawiki_directory}/maintenance/update.php]"
 599   end
 600
 601   execute "#{mediawiki_directory}/maintenance/update.php" do
 602     action :run
 603     command "php maintenance/update.php --quick"
 604     cwd mediawiki_directory
 605     user node[:mediawiki][:user]
 606     group node[:mediawiki][:group]
 607   end
 608 end
 609
 610 action :delete do
 611   apache_site new_resource.site do
 612     action :delete
 613     reload_apache false
 614   end
 615
 616   declare_resource :directory, site_directory do
 617     action :delete
 618     recursive true
 619   end
 620
 621   mysql_database new_resource.database_name do
 622     action :drop
 623   end
 624
 625   mysql_user "#{new_resource.database_user}@localhost" do
 626     action :drop
 627   end
 628 end
 629
 630 action_class do
 631   include Chef::Mixin::PersistentToken
 632
 633   def site_directory
 634     new_resource.directory || "/srv/#{new_resource.site}"
 635   end
 636
 637   def mediawiki_reference
 638     shell_out!("git", "ls-remote", "--refs", "--sort=-version:refname",
 639                "https://gerrit.wikimedia.org/r/mediawiki/core.git",
 640                "refs/tags/#{new_resource.version}.*")
 641       .stdout
 642       .split("\n")
 643       .first
 644       .split("/")
 645       .last
 646   end
 647
 648   def cron_name
 649     new_resource.site.tr(".", "_")
 650   end
 651
 652   def database_params
 653     {
 654       :host => "localhost",
 655       :name => new_resource.database_name,
 656       :username => new_resource.database_user,
 657       :password => new_resource.database_password
 658     }
 659   end
 660
 661   def mediawiki_params
 662     {
 663       :sitename => new_resource.sitename,
 664       :metanamespace => new_resource.metanamespace,
 665       :logo => new_resource.logo,
 666       :email_contact => new_resource.email_contact,
 667       :email_sender => new_resource.email_sender,
 668       :email_sender_name => new_resource.email_sender_name,
 669       :commons => new_resource.commons,
 670       :skin => new_resource.skin,
 671       :site_notice => new_resource.site_notice,
 672       :site_readonly => new_resource.site_readonly,
 673       :extra_file_extensions => new_resource.extra_file_extensions,
 674       :private_accounts => new_resource.private_accounts,
 675       :private_site => new_resource.private_site
 676     }
 677   end
 678 end
 679
 680 def after_created
 681   notifies :reload, "service[apache2]" if reload_apache
 682 end