Savez-vous ce qui s’est réellement produit à Strasbourg ?
Dans la nuit du 9 au 10 mars 2021, un important incendie est déclaré dans le datacenter strasbourgeois de la société OVH, les serveurs brûlent ! De nombreuses entreprises ont été touchées et Mind & Go n’a pas été épargné. L’incident a totalement détruit le centre de données SGB2 et endommagé SGB1. Les SGB3 et 4 étaient intacts mais pour des raisons de sécurité, OVH à décidé de les éteindre et de les déconnecter du réseau internet.
Quelles conséquences pour Mind & GO ?
Quelques heures après le début de l'incendie, notre administrateur système, Pascal Dernoncourt, est alerté d’un problème sur notre infrastructure. Il constate qu’un de nos serveurs est manquant. Rapidement informé de la situation sur le site de Strasbourg, un grand nombre de questions fait surface. Pas de panique ! Notre Plan de Reprise d’Activité a été établi et nous devons l'appliquer. Cette identification préalable des risques nous a permis de réagir de manière efficace et rapide.
Comment avons-nous réagi ?
Notre infrastructure est composée de 3 serveurs localisés dans trois datacenters géographiquement différents, ceux-ci organisés en un Cluster ProxMox de Haute Disponibilité. Il permet aux serveurs d’agir comme un système unique et d’être géré depuis une seule interface web. Notre premier objectif était donc de placer le serveur endommagé hors du Cluster. Désormais, le plus dur restait à faire : récupérer les données de nos clients !
Notre Cluster ProxMox utilise la solution libre de stockage distribuée “CEPH” qui met en commun les espaces disques des ProxMox (serveurs) et les présente comme un espace de stockage unique. Les données sont alors écrites, réparties et dupliquées. Le système est donc plus tolérant en cas de panne. Associé à cela, nous utilisons une solution de sauvegarde open source, Backup PC qui externalise quotidiennement les sauvegardes des données.
Ces deux solutions nous ont permis de redémarrer les conteneurs où se trouvaient les données de nos clients et recrée ceux perdus grâce à nos outils d'intégration continue. Tous nos services clients Odoo et PMB ont été installés à l'aide de ces outils.
En fin d'après-midi, la quasi-totalité de nos services étaient opérationnels. Le serveur présent sur SGB2 fut à nouveau accessible plus d'un mois après et certaines données manquantes ont été récupérées.
%20(1).png?access_token=455fa66e-cc85-4155-ab2f-2cfb2d4185bf)
Le 10 mars 2021 : OVH Strasbourg brûle.