Différences

Ci-dessous, les différences entre deux révisions de la page.

--- services:mattermost_upgrade [2019/05/13 17:42] – modification externe 127.0.0.1
+++ services:mattermost_upgrade [2019/05/19 23:02] (Version actuelle) – supprimée chosty
@@ Ligne 1: / Ligne 1: @@
-====== Mattermost : Procédure de mise à jour ======
-===== Images Docker =====
-Pour déployer Mattermost, Picasoft utilise 2 images Docker : une image pour l'application (que l'on appellera ''app'') et une image pour la base de données PostgreSQL (que l'on appellera ''db'').
-==== Récupération du code mis à jour ====
-Pour //builder// et pousser les images, on va récupérer le //repository// Git qui pointe sur [[https://github.com/mattermost/mattermost-docker|l'upstream maintenue par Mattermost]]. \\
-On clone le repository et on se place dans le dossier.
-Il faut ensuite modifier fichier ''docker-compose.yml'' du //repository// pour permettre de //builder// la version libre de Mattermost. Normalement, les lignes suivantes ne doivent pas être commentées :
-<code yaml>
-[...]
-  app:
-    build:
-      context: app
-      # comment out 2 following lines for team edition
-      args:
-        - edition=team
-[...]
-</code>
-Pour finir, on vérifie que le //repository// va bien //builder// la version que l'on souhaite de Mattermost. On peux vérifier avec la commande suivante: <code>cat app/Dockerfile | grep "ENV MM_VERSION"</code> Si ce n'est pas la dernière version, alors il faut ouvrir une PR sur l'upstream pour demander la mise à jour.
-==== Build et tag des images ====
-Lorsque le dossier est prêt, on //build// très simplement les images à l'aide de ''docker-compose'' :
-<code bash>
-docker-compose build
-</code>
-Le //build// peut durer un certain temps, une fois terminé on obtient trois images : ''mattermost_app'', ''mattermost_db'' et ''mattermost_web''. On peut les voir à l'aide de la commande ''docker images'' :
-<code bash>
-kyane@laptop:~ docker images
-REPOSITORY                                      TAG                 IMAGE ID            CREATED             SIZE
-mattermost_web                                  latest              bd616f47c38b        3 seconds ago       109MB
-mattermost_app                                  latest              e0bdbeb94060        3 seconds ago       303MB
-mattermost_db                                   latest              724ed4c6030a        3 seconds ago       451MB
-</code>
-On ignore l'image ''mattermost_web'', nous ne l'utilisons pas pour Picasoft car nous avons notre propre reverse-proxy (Traefik). On peut la supprimer avec ''docker rmi mattermost_web''.
-On va maintenant ajouter des //tags// à nos images ''app'' et ''db'' pour ensuite les pousser sur le //registry// Docker de Picasoft. On va utiliser, pour chaque image, les tags ''latest'' et ''X.Y.Z'' (correspondant au numéro de version de Mattermost). On renomme les images pour les pousser sur le //registry// de Picasoft, elles auront donc la forme ''registry.picasoft.net:5000/NOMIMAGE:TAG''. Par exemple, si nous venons de //builder// la version ''4.3.0'' de Mattermost, on va lancer les commandes suivantes :
-<code bash>
-# Tag de l'image app
-docker tag mattermost_app registry.picasoft.net:5000/pica-mattermost:latest
-docker tag mattermost_app registry.picasoft.net:5000/pica-mattermost:4.3.0
-# Tag de l'image db
-docker tag mattermost_db registry.picasoft.net:5000/pica-mattermost-db:latest
-docker tag mattermost_db registry.picasoft.net:5000/pica-mattermost-db:4.3.0
-# On pousse tout sur le registry
-docker push registry.picasoft.net:5000/pica-mattermost:latest
-docker push registry.picasoft.net:5000/pica-mattermost:4.3.0
-docker push registry.picasoft.net:5000/pica-mattermost-db:latest
-docker push registry.picasoft.net:5000/pica-mattermost-db:4.3.0
-</code>
-Nos images sont prêtes et à jour dans le //registry//. On termine par un petit ménage des images Docker en local, maintenant qu'elles sont poussées ce n'est plus utile de les conserver :
-<code bash>
-docker rmi mattermost_app
-docker rmi mattermost_db
-docker rmi registry.picasoft.net:5000/pica-mattermost:latest
-docker rmi registry.picasoft.net:5000/pica-mattermost:4.3.0
-docker rmi registry.picasoft.net:5000/pica-mattermost-db:latest
-docker rmi registry.picasoft.net:5000/pica-mattermost-db:4.3.0
-</code>
-===== Déploiement =====
-==== Préparation ====
-Pour déployer notre nouvelle version, on se rend maintenant sur la machine de production qui fait tourner Mattermost (normalement, ''pica01''). Bien entendu, on ne fait pas une mise à jour n'importe comment, il faut s'assurer :
-  * que l'on a une backup récente de la base de données. C'est normalement le cas puisqu'elles sont automatiques;
-  * que Mattermost n'est pas trop utilisé. On ne fais pas un déploiement à 19H, la coupure va déranger tout le monde;
-  * que les autres bénévoles sont au courant de la mise à jour. Même si la coupure de service est courte, un⋅e sysadmin qui voit que le service est tombé va s'affoler pour rien :)
-Bref on ne se lance que lorsque l'on est prêt. Pour commencer il faut modifier les images Docker qui sont utilisées par les conteneurs de Mattermost et de sa base de données. Cela se passe dans le fichier ''/DATA/docker/docker-compose.yml'' de la machine, dans les services ''mattermost'' et ''mattermost-db''. Il suffit simplement de changer le numéro de version de l'image.
-**Attention !! On utilise uniquement les images ayant pour //tag// le numéro d'une version. On utilise JAMAIS ''latest'' pour éviter de tout casser, et en plus c'est plus clair comme cela.**
-Lorsque c'est prêt, on //pull// les nouvelles images Docker sur la machine. On n'est pas obligé de le faire manuellement, ''docker-compose'' se chargera de le faire au redémarrage des conteneurs. Cependant cela permet de réduire le downtime, puisque l'image sera déjà en local au moment du redémarrage (on économise le temps de //pull//).
-<code bash>
-docker pull registry.picasoft.net:5000/pica-mattermost:4.3.0
-docker pull registry.picasoft.net:5000/pica-mattermost-db:4.3.0
-</code>
-==== Bascule en production ====
-Lorsque tout est bien prêt et que l'on a prévu les collègues, on peut enfin opérer à la bascule sur la nouvelle version. En pratique, on va simplement couper les conteneurs de l'application Mattermost, puis de sa base de données. On relance ensuite directement les deux services (dans l'ordre inverse), qui vont donc démarrer sur les nouvelles images.
-Pour être sûr que tout se passe vite, sans typo ou autre problème, on peut faire tout ceci en une seule commande :
-<code bash>
-cd /DATA/docker/ && docker stop mattermost-app && docker stop -t 60 mattermost-db \
-&& docker rm mattermost-app && docker rm mattermost-db \
-&& docker-compose up -d mattermost-db && sleep 5 && docker-compose up -d mattermost
-</code>
-Il est important de stopper les conteneurs avant de les effacer, pour éteindre correctement la base de données et minimiser le risque de corruption. L'option ''-t 60'' indique un timeout de 60 secondes ([[https://docs.docker.com/compose/reference/stop/|par défaut]] c'est 10 secondes).
-Normalement tout s'enchaine bien et les services repartent sur les nouvelles images. On peut vérifier rapidement en se connectant sur le [[https://team.picasoft.net|Mattermost de Picasoft]], que ça tourne bien. Dans le menu, l'onglet "À Propos" permet de vérifier la version du serveur. \\
-Il est **fortement recommandé** de regarder les //logs// des conteneurs (''docker logs mattermost-app'' et ''docker logs mattermost-db'') pour regarder si il n'y a pas de grosse erreur pouvant indiquer un dysfonctionnement.
-En cas de soucis, on remet les anciennes images dans le ''docker-compose.yml'' puis on relance la commande ci-dessus pour revenir en arrière. Si cela crash toujours, on fait un rollback de la base de données. \\
-Si tout va bien, on fait un petit message sur le channel Général pour annoncer que la MAJ s'est bien passée, en ajoutant un petit lien vers le [[https://docs.mattermost.com/administration/changelog.html|changelog de Mattermost]]. On pense aussi à nettoyer les anciennes images Docker de la machine ''pica01''.
-==== Réindexation de la base de donnée ====
-Il est arrivé qu'après une procédure d'upgrade "violente", la base de données Postgresql ne conserve plus ses propriétés intrinsèques. La base se retrouve corrompue et les contraintes d'intégrités ne sont plus respectées. Cela donne lieu à des problèmes de connexions au sein de Mattermost.
-Pour corriger ce problème, une réindexation de la base de données est nécessaire.
-**Attention avant toute opération de ce genre, veuillez effectuer une sauvegarde de la base de données**
-<code bash>
-root@pica01:~# docker exec -it mattermost-db bash
-bash-4.3# psql -U postgres
-psql (9.4.15)
-Type "help" for help.
-postgres=# \c mattermost
-You are now connected to database "mattermost" as user "postgres".
-mattermost=# reindex DATABASE mattermost;
-NOTICE:  table "pg_catalog.pg_class" was reindexed
-NOTICE:  table "pg_catalog.pg_statistic" was reindexed
-NOTICE:  table "pg_catalog.pg_type" was reindexed
-NOTICE:  table "public.oauthaccessdata" was reindexed
-NOTICE:  table "pg_catalog.pg_authid" was reindexed
-NOTICE:  table "pg_catalog.pg_attribute" was reindexed
-NOTICE:  table "pg_catalog.pg_proc" was reindexed
-NOTICE:  table "public.audits" was reindexed
-NOTICE:  table "pg_catalog.pg_user_mapping" was reindexed
-NOTICE:  table "pg_catalog.pg_attrdef" was reindexed
-NOTICE:  table "pg_catalog.pg_constraint" was reindexed
-NOTICE:  table "pg_catalog.pg_index" was reindexed
-NOTICE:  table "pg_catalog.pg_operator" was reindexed
-NOTICE:  table "pg_catalog.pg_opfamily" was reindexed
-NOTICE:  table "pg_catalog.pg_opclass" was reindexed
-NOTICE:  table "pg_catalog.pg_am" was reindexed
-NOTICE:  table "pg_catalog.pg_amop" was reindexed
-NOTICE:  table "pg_catalog.pg_amproc" was reindexed
-NOTICE:  table "pg_catalog.pg_language" was reindexed
-NOTICE:  table "pg_catalog.pg_database" was reindexed
-NOTICE:  table "pg_catalog.pg_aggregate" was reindexed
-NOTICE:  table "pg_catalog.pg_rewrite" was reindexed
-NOTICE:  table "pg_catalog.pg_trigger" was reindexed
-NOTICE:  table "pg_catalog.pg_event_trigger" was reindexed
-NOTICE:  table "pg_catalog.pg_description" was reindexed
-NOTICE:  table "pg_catalog.pg_cast" was reindexed
-NOTICE:  table "pg_catalog.pg_enum" was reindexed
-NOTICE:  table "pg_catalog.pg_namespace" was reindexed
-NOTICE:  table "pg_catalog.pg_conversion" was reindexed
-NOTICE:  table "pg_catalog.pg_depend" was reindexed
-NOTICE:  table "pg_catalog.pg_db_role_setting" was reindexed
-NOTICE:  table "pg_catalog.pg_tablespace" was reindexed
-NOTICE:  table "pg_catalog.pg_pltemplate" was reindexed
-NOTICE:  table "pg_catalog.pg_auth_members" was reindexed
-NOTICE:  table "pg_catalog.pg_shdepend" was reindexed
-NOTICE:  table "pg_catalog.pg_shdescription" was reindexed
-NOTICE:  table "pg_catalog.pg_ts_config" was reindexed
-NOTICE:  table "pg_catalog.pg_ts_config_map" was reindexed
-NOTICE:  table "pg_catalog.pg_ts_dict" was reindexed
-NOTICE:  table "pg_catalog.pg_ts_parser" was reindexed
-NOTICE:  table "pg_catalog.pg_ts_template" was reindexed
-NOTICE:  table "pg_catalog.pg_extension" was reindexed
-NOTICE:  table "pg_catalog.pg_foreign_data_wrapper" was reindexed
-NOTICE:  table "pg_catalog.pg_foreign_server" was reindexed
-NOTICE:  table "pg_catalog.pg_foreign_table" was reindexed
-NOTICE:  table "pg_catalog.pg_default_acl" was reindexed
-NOTICE:  table "pg_catalog.pg_seclabel" was reindexed
-NOTICE:  table "pg_catalog.pg_shseclabel" was reindexed
-NOTICE:  table "pg_catalog.pg_collation" was reindexed
-NOTICE:  table "pg_catalog.pg_range" was reindexed
-NOTICE:  table "pg_catalog.pg_largeobject" was reindexed
-NOTICE:  table "public.channelmembers" was reindexed
-NOTICE:  table "information_schema.sql_implementation_info" was reindexed
-NOTICE:  table "information_schema.sql_languages" was reindexed
-NOTICE:  table "information_schema.sql_packages" was reindexed
-NOTICE:  table "information_schema.sql_sizing" was reindexed
-NOTICE:  table "information_schema.sql_sizing_profiles" was reindexed
-NOTICE:  table "public.channels" was reindexed
-NOTICE:  table "public.commands" was reindexed
-NOTICE:  table "public.compliances" was reindexed
-NOTICE:  table "public.emoji" was reindexed
-NOTICE:  table "pg_catalog.pg_largeobject_metadata" was reindexed
-NOTICE:  table "public.fileinfo" was reindexed
-NOTICE:  table "pg_catalog.pg_inherits" was reindexed
-NOTICE:  table "public.licenses" was reindexed
-NOTICE:  table "public.oauthapps" was reindexed
-NOTICE:  table "information_schema.sql_features" was reindexed
-NOTICE:  table "information_schema.sql_parts" was reindexed
-NOTICE:  table "public.oauthauthdata" was reindexed
-NOTICE:  table "public.outgoingwebhooks" was reindexed
-NOTICE:  table "public.posts" was reindexed
-NOTICE:  table "public.preferences" was reindexed
-NOTICE:  table "public.reactions" was reindexed
-NOTICE:  table "public.sessions" was reindexed
-NOTICE:  table "public.status" was reindexed
-NOTICE:  table "public.systems" was reindexed
-NOTICE:  table "public.teammembers" was reindexed
-NOTICE:  table "public.teams" was reindexed
-NOTICE:  table "public.tokens" was reindexed
-NOTICE:  table "public.users" was reindexed
-NOTICE:  table "public.clusterdiscovery" was reindexed
-NOTICE:  table "public.jobs" was reindexed
-NOTICE:  table "public.commandwebhooks" was reindexed
-NOTICE:  table "public.useraccesstokens" was reindexed
-NOTICE:  table "public.channelmemberhistory" was reindexed
-NOTICE:  table "public.pluginkeyvaluestore" was reindexed
-NOTICE:  table "public.incomingwebhooks" was reindexed
-REINDEX
-mattermost=# <ctrl d>
-exit
-</code>