Voici le rapport d’incident lié à la panne survenue le samedi 31 mars 2017 à 23h40. Cette panne concernait seulement une partie des clients hébergés sur l’infrastructure Octopuce à DC2 Vitry.
Contexte
- Vos serveurs sont des machines virtuelles hébergées sur des serveurs physiques.
- Les baies hébergeant ces serveurs physiques ont deux alimentations électriques redondantes
- Seules certaines machines à double alimentation peuvent utiliser directement les deux sources de courant
- Les autres machines doivent utiliser des prises spéciales redondantes, fournies par défaut en nombre limité
Déroulement
31/03 23:40:20 Dans la baie F10 à DC2, le disjoncteur de l’une de ses deux alimentations électriques interrompt le courant de manière inopinée.
Début de l’incident
La cause de cette coupure est un défaut matériel sur l’alimentation redondante d’un serveur de sauvegarde rendue hors service.
Certains serveurs non redondants et certains équipements réseaux, non branchés sur une prise spéciale, s’éteignent. Les autres machines perdent au moins partiellement leur réseau.
31/03 23:40:35 Début des messages d’alerte sur l’astreinte et prise en charge immédiate par l’adminsys en astreinte
31/03 23:50 Après identification de la perte des équipements de la baie F10, ouverture d’un ticket Iliad et décision d’un déplacement physique d’un administrateur Octopuce au Datacenter
01/04 00:07 Arrivée au datacenter
01/04 00:10 Prise en charge de l’incident avec le technicien d’astreinte au Datacenter
01/04 00:12 Réenclenchement de l’alimentation électrique ayant disjoncté
01/04 00:14 Redémarrage effectif des serveurs physiques et des équipements réseaux
Fin de l’incident
Analyse
- Cette panne était imprévisible et exceptionnelle : pas d’occurence de ce type de panne depuis 10 ans.
- Le datacenter a agi de manière préventive et efficace en coupant le courant, évitant de griller tous les équipements.
- Les quelques équipements sans double alimentation auraient dû être branchés sur des prises redondées
Actions
- Installation de prises redondées en nombre suffisant dans toutes les baies et raccordement des équipements branchés sur alimentation non redondée
Nous vous prions de nous excuser pour cette panne imprévisible, et vous tiendrons au courant des évolutions réalisées
Cordialement,
L’équipe technique d’Octopuce.