Table des matières

Redémarrages Imprévus de BOB [en cours]

Depuis l’été 2023, bob redémarre inopinément le mardi matin pour une raison inconnue. Ce problème, toujours en cours d’investigation, est documenté sur cette page.

Symptômes

En général, ce qui attire notre attention sur un redémarrage est le bot mattermost se plaignant de problèmes de backup sur alertes techniques. Cela est causé par l’arrêt de la machine au milieu d’un cycle de backup, ce qui laisse le lock d’autorestic dans un état incohérent.

Note:

La rustine dans ce cas est de réinitialiser le lock avec la commande suivante :

snippet.sh
sudo sed -i 's/running: true/running: false/g' /DATA/docker/backups/pica02/.autorestic.lock.yml

Question:

Comment sait-on que c’est bien un reboot qui cause ça ?

La commande last reboot donne au moment de l’écriture

reboot   system boot  5.15.104-1-pve   Tue Nov 28 09:37   still running
reboot   system boot  5.15.104-1-pve   Tue Nov 21 09:15   still running
reboot   system boot  5.15.104-1-pve   Tue Nov 14 08:54   still running
reboot   system boot  5.15.104-1-pve   Tue Nov  7 08:33   still running
reboot   system boot  5.15.104-1-pve   Tue Oct 31 08:11   still running
reboot   system boot  5.15.104-1-pve   Tue Oct 17 08:29   still running
reboot   system boot  5.15.104-1-pve   Tue Oct 10 08:07   still running
reboot   system boot  5.15.104-1-pve   Tue Oct  3 07:46   still running
reboot   system boot  5.15.104-1-pve   Tue Sep 26 07:25   still running
reboot   system boot  5.15.104-1-pve   Wed Sep 20 18:06   still running
reboot   system boot  5.15.104-1-pve   Wed Aug 23 16:41   still running
reboot   system boot  5.15.104-1-pve   Wed Jul  5 14:11   still running
reboot   system boot  5.15.104-1-pve   Wed Jun 28 17:02   still running
reboot   system boot  5.15.104-1-pve   Wed Jun 21 15:36 - 16:44 (7+01:07)
reboot   system boot  5.15.104-1-pve   Wed Jun 14 15:15 - 16:44 (14+01:29)
reboot   system boot  5.15.104-1-pve   Wed May 17 13:49 - 16:44 (42+02:54)
reboot   system boot  5.15.104-1-pve   Thu Apr 20 22:01 - 16:44 (68+18:43)
reboot   system boot  5.4.203-1-pve    Thu Apr 20 21:15 - 21:54  (00:38)
reboot   system boot  5.4.78-2-pve     Wed Mar 22 09:59 - 21:08 (29+10:09)
reboot   system boot  5.4.78-2-pve     Wed Mar  1 12:27 - 21:08 (50+07:40)
reboot   system boot  5.4.78-2-pve     Wed Jan  4 09:37 - 21:08 (106+10:30)
reboot   system boot  5.4.78-2-pve     Wed Dec 14 08:33 - 21:08 (127+11:34)
reboot   system boot  5.4.78-2-pve     Wed Dec  7 08:12 - 21:08 (134+11:55)
reboot   system boot  5.4.78-2-pve     Wed Dec 23 23:11 - 21:08 (847+20:57)

On peut ainsi comparer les spams du bot aux reboots depuis Septembre.

Pistes

D’après la commande last reboot précedente, il est évident que le problème est périodique, plus ou moins toutes les semaines le mardi matin. On détaille ici les pistes étudiées.

Matériel

Une panne matériel (RAM défectueuse, alimentation faiblarde) pourrait mener à ce genre de redémarrage. Cependant, deux éléments tendent à penser que cela ne peut pas être la cause :

Logiciel

D’un autre côté, les problèmes logiciels peuvent également entrainer des reboots. Cependant, les logs de journalctl et proxmox ne laissent rien présage : il ne se passe rien de particulier avant ces redémarrages.

Une autre piste est celle du kernel panic, le noyau qui planterai au bout d’un certain temps pour une raison ou pour une autre. Le soucis avec cette piste est que dans ces cas là, il est impossible pour le kernel de logger ce qu’il lui arrive. La solution habituelle est de faire un core-dump pour l’analyser plus tard mais cela nécessite une intervention physique sur la machine.