[FORUM] Incident du 15/12/2007 entre 12h30 et 15h50 • Link Station

soul^keeper · 2007-12-16T12:04:04+00:00

Salut, Comme promis, voici le compte rendu de l'incident d'hier. En fait, le serveur s'est éteint brutalement à 12h30, un peu comme une coupure de courant. C'est en fait la 2ème fois qu'il me fait le coup en 3 semaines. La première fois (samedi 24/11/2007), je n'avais pas vraiment expliqué la cause, je sais juste que quand j'ai rallumé le serveur, le lecteur de disquette n'était plus reconnu ("Type error")... Rien n'y a fait, j'ai été contraint de débrancher le lecteur pour pouvoir démarrer correctement le serveur. Vendredi 30/11/2007, je ne sais plus pour quelle raison, j'ai redémarré le serveur, j'en ai profité pour rebrancher le lecteur de disquette, qui curieusement ne déclenchait plus d'erreur au boot... allez comprendre... Et donc hier midi, même scénario : le serveur s'éteint, et au rallumage, plus de lecteur de disquette ("Type error")... J'en conclus donc que le lecteur de disquette est défectueux et qu'il fait "disjoncter" l'alimentation du serveur. Il est donc de nouveau débranché et le restera... Bref, un incident qui n'aurait dû durer que le temps d'un reboot, sauf que..... plus possible de booter ! Pas de menu de démarrage... rien qu'un écran noir avec un curseur clignotant, sans message d'erreur, rien... C'est là que les problèmes ont commencé : j'ai d'abord pensé que le loader (grub) s'était corrompu. Il me fallait donc un disque d'amorçage "Rescue Disk" pour pouvoir réparer cela. Sauf que je n'avais pas de CD Rescue Disk à disposition... et évidemment plus de connexion internet pour aller en télécharger un puisque la connexion internet est gérée par le serveur... Bref, obligé de raccorder la freebox à un autre PC, le sécuriser un minimum quand même, télécharger le CD sur le net, le graver, etc... Malgré une réinstallation de grub en bonne et due forme, toujours pas de menu de démarrage, même problème... J'ai essayé plusieurs méthodes... rien n'y a fait. En fait je me suis rapidement aperçu que le fichier grub.conf n'existait plus, et pire que le répertoire /boot ne contenait plus rien de valide (que de vieux kernels plus utilisés... et logiquement effacés depuis longtemps...)... En cherchant un peu plus, je me suis rendu compte que la PARTITION /boot n'était même plus reconnue (file system unknown...) ... alors comment pouvais-je quand même accéder au répertoire /boot et à son contenu "obsolète" ? Et bien simple: un répertoire /boot existait dans la partition / ... je voyais donc un /boot "invisible" en temps normal puisque la vraie partition /boot est monté par le système au même endroit... bonjour la confusion.......... Donc finalement, après avoir bataillé longuement à essayer de reconstruire un fichier grub.conf à la main, réinstaller les rpm des kernels, réinstaller grub, etc... j'ai fait un fsck de la partition /boot ... et là bingo ! plein d'erreurs, heureusement rattrapées par le journal ext3... Bref la coupure brutale du serveur m'avait scratché littéralement la partition de démarrage... sympa ! Une fois le système de fichier réparé, je retrouve mon menu de démarrage (par contre comment accéder au contenu et supprimer le /boot de l'autre partition, j'en ai aucune idée... à part en démontant la partition éventuellement...) ... Bref, le grub.conf réapparait, les kernels récents aussi, etc... fin de l'incident "boot impossible". S'en est suivi le check habituel que je fais des bases SQL quand un incident de ce type survient, car le plus souvent, les tables sont en mauvais état... ça n'a pas loupé : les tables de users, de posts, et d'index de recherche étaient toutes les 3 corrompues. La réparation entrainera 4 suppressions de comptes, le réalignement des tables entrainant souvent ce type de "suppression sauvage"... Pareil pour les posts et l'index. Concernant les users, pas de pb car pas d'inscription entre la dernière sauvegarde et le plantage, donc j'ai restauré la base sans me poser de questions (dans ce cas, seules les infos de dernière connexions et quelques champs sans importances sont remodifiées) => en conséquence, aucune perte d'info. Concernant les posts, j'ai dû m'y prendre autrement, car il est impossible de savoir les posts qui ont sautés, donc j'ai passé un moment pour sauvegarder la table de posts "réparée" et en faire le delta avec la dernière sauvegarde du matin, et ce afin de pouvoir restaurer la sauvegarde puis passer "le delta" (de cette façon, je suis sûr de n'avoir rien perdu, enfin à part éventuellement les posts supprimés par la réparation, mais en tout cas aucun d'avant la sauvegarde...). Ce sont des opérations assez sensibles car on joue avec des backups qu'on "bidouille" pour nos besoins. C'est à ce moment là que j'ai été interrompu, et quand j'ai repris, j'ai oublié de supprimer une malheureuse petite ligne de commande ayant pour effet de REMPLACER le contenu présent par le delta, au lieu de RAJOUTER le delta au contenu existant. Conséquence: suppression immédiate de l'intégralité des posts de la base, moins les quelques dizaines postés entre 4h et 12h30 .