Administrateur
Niveau : 5
N° de Membre :
1
Ancienneté : 100%
Participation : 100%
Inscription: 22 Feb 2002
Localisation: La Défense
Age: 49
Messages: 16789
Sujets Lancés : 2454
|
 [FORUM] Incident du 15/12/2007 entre 12h30 et 15h50
Salut,
Comme promis, voici le compte rendu de l'incident d'hier.
En fait, le serveur s'est éteint brutalement à 12h30, un peu comme une coupure de courant.
C'est en fait la 2ème fois qu'il me fait le coup en 3 semaines.
La première fois (samedi 24/11/2007), je n'avais pas vraiment expliqué la cause, je sais juste que quand j'ai rallumé le serveur, le lecteur de disquette n'était plus reconnu ("Type error")... Rien n'y a fait, j'ai été contraint de débrancher le lecteur pour pouvoir démarrer correctement le serveur.
Vendredi 30/11/2007, je ne sais plus pour quelle raison, j'ai redémarré le serveur, j'en ai profité pour rebrancher le lecteur de disquette, qui curieusement ne déclenchait plus d'erreur au boot... allez comprendre...
Et donc hier midi, même scénario : le serveur s'éteint, et au rallumage, plus de lecteur de disquette ("Type error")... J'en conclus donc que le lecteur de disquette est défectueux et qu'il fait "disjoncter" l'alimentation du serveur. Il est donc de nouveau débranché et le restera...
Bref, un incident qui n'aurait dû durer que le temps d'un reboot, sauf que..... plus possible de booter ! Pas de menu de démarrage... rien qu'un écran noir avec un curseur clignotant, sans message d'erreur, rien...
C'est là que les problèmes ont commencé : j'ai d'abord pensé que le loader (grub) s'était corrompu. Il me fallait donc un disque d'amorçage "Rescue Disk" pour pouvoir réparer cela. Sauf que je n'avais pas de CD Rescue Disk à disposition... et évidemment plus de connexion internet pour aller en télécharger un puisque la connexion internet est gérée par le serveur... Bref, obligé de raccorder la freebox à un autre PC, le sécuriser un minimum quand même, télécharger le CD sur le net, le graver, etc...
Malgré une réinstallation de grub en bonne et due forme, toujours pas de menu de démarrage, même problème... J'ai essayé plusieurs méthodes... rien n'y a fait. En fait je me suis rapidement aperçu que le fichier grub.conf n'existait plus, et pire que le répertoire /boot ne contenait plus rien de valide (que de vieux kernels plus utilisés... et logiquement effacés depuis longtemps...)... En cherchant un peu plus, je me suis rendu compte que la PARTITION /boot n'était même plus reconnue (file system unknown...) ... alors comment pouvais-je quand même accéder au répertoire /boot et à son contenu "obsolète" ? Et bien simple: un répertoire /boot existait dans la partition / ... je voyais donc un /boot "invisible" en temps normal puisque la vraie partition /boot est monté par le système au même endroit... bonjour la confusion..........
Donc finalement, après avoir bataillé longuement à essayer de reconstruire un fichier grub.conf à la main, réinstaller les rpm des kernels, réinstaller grub, etc... j'ai fait un fsck de la partition /boot ... et là bingo ! plein d'erreurs, heureusement rattrapées par le journal ext3... Bref la coupure brutale du serveur m'avait scratché littéralement la partition de démarrage... sympa !
Une fois le système de fichier réparé, je retrouve mon menu de démarrage (par contre comment accéder au contenu et supprimer le /boot de l'autre partition, j'en ai aucune idée... à part en démontant la partition éventuellement...) ... Bref, le grub.conf réapparait, les kernels récents aussi, etc... fin de l'incident "boot impossible".
S'en est suivi le check habituel que je fais des bases SQL quand un incident de ce type survient, car le plus souvent, les tables sont en mauvais état... ça n'a pas loupé : les tables de users, de posts, et d'index de recherche étaient toutes les 3 corrompues. La réparation entrainera 4 suppressions de comptes, le réalignement des tables entrainant souvent ce type de "suppression sauvage"... Pareil pour les posts et l'index.
Concernant les users, pas de pb car pas d'inscription entre la dernière sauvegarde et le plantage, donc j'ai restauré la base sans me poser de questions (dans ce cas, seules les infos de dernière connexions et quelques champs sans importances sont remodifiées) => en conséquence, aucune perte d'info.
Concernant les posts, j'ai dû m'y prendre autrement, car il est impossible de savoir les posts qui ont sautés, donc j'ai passé un moment pour sauvegarder la table de posts "réparée" et en faire le delta avec la dernière sauvegarde du matin, et ce afin de pouvoir restaurer la sauvegarde puis passer "le delta" (de cette façon, je suis sûr de n'avoir rien perdu, enfin à part éventuellement les posts supprimés par la réparation, mais en tout cas aucun d'avant la sauvegarde...). Ce sont des opérations assez sensibles car on joue avec des backups qu'on "bidouille" pour nos besoins. C'est à ce moment là que j'ai été interrompu, et quand j'ai repris, j'ai oublié de supprimer une malheureuse petite ligne de commande ayant pour effet de REMPLACER le contenu présent par le delta, au lieu de RAJOUTER le delta au contenu existant. Conséquence: suppression immédiate de l'intégralité des posts de la base, moins les quelques dizaines postés entre 4h et 12h30 ... tu m'étonnes que vous n'arriviez plus à lire vos anciens messages lol....
Bref, je me suis pas rendu compte du hic sur le moment, car comme vous, je me connecte sur la page d'accueil, j'ai regardé les "derniers messages", qui biensûr fonctionnaient... idem pour les posts du top-10 etc... pour moi tout était normal. J'ai pu aller vaquer à mes occupations...
Et le soir... petite vérification "just in case", et je tombe sur vos appels au secours lol.... J'ai vite réalisé le soucis, il m'a suffit donc de recommencer l'opération : restauration du backup du matin, puis ajout du delta, non plus entre 4h et 12h30, mais entre 4h et le soir... J'ai préparé un message de "maintenance" mais oublié de l'activer pendant l'opération, donc s'il y a eu des posts de perdus, c'est sur cette fenêtre de 3mn... je ne pense pas qu'il y ait eu de nouveaux posts à ce moment là, mais qui sait...
Voilà donc... Au final retour à la normale cette nuit, j'ai tout de même vider l'index et lancer une reconstruction pour être sûr de récupérer les quelques entrées perdues le matin. C'est encore en train de tourner à l'heure qu'il est.
Bilan: Aucune perte de données, récupération de la partition crashée, mais lecteur de disquette définitivement déclaré HS.
+++
 | IP: Logguée
Temps en ligne : 98 Jours, 10 Heures, 7 Minutes, 32 Secondes en ligne
|
soul^keeper
16-12-2007 13:04
polkaïna
)
