Gravité : 1 (<15min)
Importance : 1 (pas de perte de données ou d’incohérence)
Résolution : 2 (nécessite projet)
État des lieux
L’infrastructure d’Octopuce est divisée en réseaux distincts (Vlans) dont certains privés à un client spécifique, et d’autres généraux à toute l’infrastructure d’un site donné (vlan d’admin, vlan des machines physiques).
Des systèmes de détection de boucle sont en place sur les switchs de cœur de réseau, qui empêchent la saturation du réseau en cas de boucle non voulue.
Déroulement
Ce mardi 2 mars 2021, des salariés d’Octopuce étaient présents à DC2 Vitry pour installer de nouveaux serveurs dans une nouvelle baie. Un switch a été configuré pour brasser ces nouveaux serveurs. Des serveurs y sont branchés, dont certains en double adduction (2 cartes réseau).
18h14 : Un des techniciens a démarré un des serveurs sur une clé USB d’installation ayant une configuration réseau automatique, qui raccorde les différents ports sur un même pont ethernet pour être sur que la clé USB soit joignable. Ce pont a donc créé une boucle sur le switch récemment installé. La boucle a créé une saturation de certains ports du switch, y compris sur le vlan des machines physiques. Le système normal de détection des boucles n’ayant pas encore été installé sur ce switch, la saturation s’est propagée au vlan des physiques dans les autres baies.
18h22 : Se rendant rapidement compte du problème, le technicien a débranché la seconde carte réseau, et coupé la boucle.
Corrections envisagées
- Nos switchs disposent d’un système de protection évolué contre ce type d’erreur humaines, qui n’a jusque là pas été activé. Nous activerons ce système (storm-control) sur les ports concernés dans toutes les baies dans le mois qui vient.
- Nos clés USB de boot de technicien ont une configuration réseau automatique dangereuse, celle-ci va être supprimée et améliorée pour détecter le réseau sans risque de créer des boucles.
- Nos configurations de switch par défaut (en cas de nouvelle installation) seront modifiées pour inclure la détection de boucle (spanning tree et storm-control) dès l’installation.
Nous tiendrons au courant les clients impactés ce jour, et les préviendrons une fois les corrections envisagées mises en œuvre.
