[FORUM] Crash du 26/06/2009 - Indisponibilité du 26/06/2009 au 28/06/2009 • Link Station

soul^keeper · 2009-06-28T15:52:19+00:00

Bonjour, Ayant beaucoup bossé sur le serveur ces 2 derniers jours, je n'ai pas trop le courage d'écrire un long compte-rendu détaillé de la coupure. Dans les grandes lignes néanmoins : 26/06/2009 - 22h00 : Crash inopiné du serveur, blackout total : rien en console, écran noir, serveur figé... La cause est rapidement détectée : plantage du contrôleur SCSI ayant entrainé le plantage du serveur (kernel panic). Avec en prime au reboot le même bug que déjà rencontré après migration en FC10 (voir ici ) ... Je réussie malgré tout à booter "par chance" une fois sur 30, mais le serveur se refige quelques minutes plus tard... autant dire que cela n'avance à rien. - 23h00 : Après avoir tout essayé, rien n'y fait : impossible de booter le serveur, j'ai un kernel panic 29 fois sur 30, quelquesoit le kernel choisi au démarrage (dans la liste de 3 qui est encore dispo sur le serveur). - 0h00 N'ayant aucune solution sous la main pour contourner ce problème, je télécharge la FC11 (qui a eu la chance de sortir le jour même) et la grave sur un DVD-RW, mais en vain car le lecteur DVD du srveur ne lit pas les DVD-RW... (et oui, le matériel est désormais plus qu'obsolète vous l'aurez compris). Je remets au lendemain la suite des opérations. 27/06/2009 - 8h15 : Nouveaux essais, non concluants. Le problème venant manifestement du contrôleur RAID SCSI (MegaRAID Elite 1600 pour ceux qui ne se souviennent pas), lui aussi devenu complètement dépassé de nos jours (c'est la raison pour laquelle nous avons les problèmes car les distributions linux évoluent et finissent par abandonner le support du matériel jugé obsolète), je n'ai d'autre choix que de trouver un autre contrôleur RAID ! ... Cela tombe bien, j'en ai un plus récent dans ma station de travail, il s'agit d'une LSI MegaRAID 320-2 (équivalent d'une PERC 4i en fait, dernière génération de carte Ultra320 SCSI, ce dernier étant abandonné depuis environ 2 ans maintenant au profit du SAS). Je remplace donc la carte du serveur par l'autre, reconfigure le RAID en croisant les doigts pour que l'OS n'y voit que du feu..... - 9h30 : cela fonctionne, le serveur boot. Je peux passer à l'étape suivante: vérifier les bases de données, que je sais corrompues, MySQL ne démarrant plus.... - 11h30 : Je passe donc la matinée à m'occuper de la base de données, qui est impossible à réparer, cette dernière étant trop corrompue, en particulier la base «mysql» elle même, celle qui contient tous les droits et privilèges... bref, MySQL irrécupérable. Je dois me résoudre à réinstaller de zéro.... Choix payant, la base repart, vierge biensûr, et je peux alors restaurer toutes les données à partir du dernier full backup de la veille. Ensuite, restauration du dernier backup du forum (19h30), et je me retrouve avec un serveur fonctionnel. Je tente alors de bidouiller les données corrompues mises de côté, en les réintégrant à la sauvage dans une base à part, une chance, j'arrive à accéder aux enregistrements suivant le dernier backup. Je m'empresse donc de les intégrer à la base de prod. Ouf ça passe, nous n'avons donc rien perdu. Le serveur est de nouveau opérationnel, mais je souhaite en profiter pour migrer sous Fedora Core 11. Ayant d'autres activités prévues ce samedi, je suis contraint de reporter à dimanche cette opération. 28/06/2009 9h : Upgrade FC10 vers FC11, puis upgrade des applicatifs (MySQL, Apache, PHP, etc...). Tout se passe bien à l'exception de quelques petites choses qui ont changé (iptables, dhcpd), mais surtout LE nouveau truc qui a le don de m'agacer : l'abandon du support de l'onduleur MGE UPS EXtreme 2000 qui protège le serveur dans la dernière version de NUT (2.4.1). Je ne comprend pas pourquoi ??!?... Bref, c'est sans doute ce qui m'aura pris le plus de temps à refaire fonctionner, car j'ai fini par me résoudre à recompiler tout ça à partir des sources, pour pouvoir utiliser la version 2.2.0 qui marchait très bien... grrrrrr.... 17h : Tout est enfin opérationnel, et en dernière version... Il est temps de réouvrir le forum.... 17h30 : Fin du CR Néanmoins.... cela ne vous aura pas échappé que je me retrouve avec ma station de travail amputée de son contrôleur RAID, ce qui était la seule solution qui a marché pour remettre sur pied le serveur. Mais ce n'était pas du tout prévu au programme ça ... :///// Je compte donc sur vous pour effectuer quelques dons afin de me permettre de la remplacer au plus vite. J'espère simplement que d'autres composants du serveur ne vont pas lâcher (c'est qu'il vieillit beaucoup, et nous avons déjà beaucoup de chance que le matériel tienne alors même qu'il tourne 24/24 depuis des années..... Je n'ose pas imaginer comment je pourrais gérer une panne de la carte mère ou d'un processeur....). A ce jour, je n'ai absolument aucune réserve pour parer à une éventuelle panne matérielle. Un petit rappel (je n'ai pas l'habitude de le faire) : Faire un don pour soutenir le forum. Pour information, le dernier don "spontané" date déjà du 27/12/2007 (le total reçu depuis