Nous avons été impactés par de graves incidents sur plusieurs unités de stockage en début de semaine. Ces incidents ont entraînée deux interruptions de service pour une petite partie de nos clients, tant sur des instances Simple Hosting que sur des serveurs IaaS. 

Cumulées, ces deux interruptions de service réprésentent notre plus gros incident de ces trois dernières années.

Les clients concernés ont été contactés et dédommagés. Nous souhaitons néanmoins, en toute transparence, revenir ici sur les circonstances de ces incidents.

 

  • Peu avant 20h00 CEST le 7 octobre, une unité de stockage de notre datacenter parisien, hébergeant des disques de serveurs IaaS et d'instances Simple Hosting, ne répond plus.
  • À 20h00, vérifications d'usage et décision de basculer sur l'unité de secours.
  • À 21h00, migration des données interrompue. Investigation des équipes et retour vers l'unité de stockage d'origine.
  • À 2h00 redémarrage de l'unité de stockage dont le disque de journal d'écriture défectueux a été changé.
  • À 3h00, sous la forte surchage liée à l'interruption de 6 heures, l'unité de stockage ne répond plus et les équipes sont contraintes d'étaler le démarrage des instances PAAS de 3h00 à 5h30.
  • À 8h30, l'ensemble des VMs et instances est fonctionnel après vérification. Certaines VMs ou instances seront à vérifier au cas par cas.
  • L'ensemble des unités de stockage utilisant le même modèle de disque est inspecté, et l'un d'entre eux est remplacé à titre préventif.
  • À 12h30, l'unité de stockage dont le disque a été remplacé présente une défaillance légère et nos équipes recherchent l'origine du problème.
  • À 15h50, 3 disques virtuels sont bloqués et une dizaine de VM impactée. Le bug est identifié, une mise à jour préventive est réalisée sur l'unité de stockage avant sa correction. Cette mise à jour entraîne un redémarrage automatique, causant une interruption de l'hébergement.
  • À 16h15, l'ensemble des instances Simple Hosting est fonctionnel. Les disques IaaS peinent à remonter. À 17h30, plus de 80% des disques sont accessibles, 100% à 17h45.

 

Pendant toute la durée de l'incident, soit de 16h00 à 18h00 environ, l'ensemble des opérations est interrompu, interdisant tout arrêt, création ou démarrage des serveurs. Les nombreuses opérations en attente de traitement sont traitées dans leur intégralité à 19h30.

Ces incidents en série ont impacté fortement la qualité de notre service, et nous le déplorons. Nous avons d'ores et déjà pris les mesures nécessaires pour réduire l'impact de tels incidents et les prévenir en amont.

En outre, un outil de suivi des incidents et des maintenances permettant à nos clients de connaître l'état de nos services en temps réel est en cours de développement et sera mis en production d'ici la semaine prochaine.

Nous renouvelons à nos clients impactés toutes nos excuses pour le désagrément occasionné et vous remercions de votre confiance.


Suite à un incident sur une unité de stockage, il a été nécessaire de redémarrer celle-ci afin d'effectuer une mise à jour. 

Toutes les opérations ont été interrompues jusqu'à la résolution de l'incident.

Merci de ne PAS lancer de nouvelles opérations sur vos serveurs : la situation va revenir à la normale une fois l'incident terminé.

Un incident est cours sur une de nos unités de stockage située dans notre centre de données parisien. Cela impacte le service Hosting sur Paris.

Nos équipes techniques travaillent à la résolution de cet incident afin de rétablir le service au plus vite.

Entre temps, merci de ne lancer aucune opération sur votre/vos serveur(s). La situation sur votre/vos serveur(s) devrait revenir à la normale une fois l'incident clos.

Merci de votre compréhension et navré pour ces inconvénients.

L'équipe Gandi.net

Mise à jour 2014-10-07 19:49:03 UTC: Nous avons identifié des matériels défectueux et sommes en train de les remplacer.

Mise à jour 22:50:27 UTC: Notre équipe technique travaille toujours à la résolution de cet incident. Nous vous tiendrons au courant de nos avancements.

Mise à jour 8 oct 00:06:47 UTC: Un disque ZIL est tombé en panne, et son failover/basculement ne s'est pas bien déroulé. Nous procédons actuellement à la procédure de failover à la main, avec soin afin d'éviter toute perte de données.

Surtout : Nous comprenons combien cet incident est critique pour vous et nous faisons tout ce qui est en notre pouvoir pour le résoudre.

Mise à jour 00:39:21 UTC : L'équipe technique est en train de remonter l'unité de stockage. On est proche de la résolution de cet incident, les services reviennent petit à petit.

Mise à jour 04:05:54 UTC : Notre équipe technique est finalement parvenue à résoudre l'incident après une longue nuit.

Une communication détaillée sur l'incident (postmortem) sera faite dans les prochains jours. Vous y trouverez notamment des informations concernant les détails techniques et les indemnisations liées à cet incident, conformément à nos Conditions Générales de Vente (cf. article 2) et à notre engagement envers vous, nos clients.



Nous allons redémarrer une unité de stockage sur le centre de données de Paris/FR ce soir.

La fenêtre de maintenance commencera le 3 octobre à minuit CEST et se terminera à une heure du matin. La fenêtre de maintenance a été rallongée de 30 minutes et se terminera à 1h30 CEST.

Vous n'aurez pas besoin de redémarrer votre serveur (IaaS ou PaaS) pendant ce temps.

Navré de la gêne occasionnée.

 

Update : fin de la maitenance à 02h00 CEST, navré pour le délai supplémentaire.


Nous allons redémarrer une unité de stockage en urgence.

En effet, un bug est à l'origine de cette maintenance d'urgence.

Cela n'a pas d'impact sur les données hébergées.

Les disques reprendront leurs I/O là où ils se sont arrêtés.

Merci de ne pas effectuer d'opération sur vos machines virtuelles pendant ce temps.

Les opérations hébergement seront arrêtées pendant ce temps.

Navré de la gêne occasionnée par cette maintenance.

 

Mise à jour : tous les disques sont revenus et ont récupéré leurs I/O, les opérations ont été relancées, si vous subissez un problème qui pourrait avoir été déclenché par cette maintenance, merci de contacter notre support par email ou sur votre site web dans la rubrique 'aide'.


Nous allons procéder à la migration la console d'urgence de l'hébergement.

Celle-ci aura lieu le Lundi 23 Juin 2014 à 23h00 CEST, heure de Paris.

Elle devrait durer quelques minutes et impactera l'accès à la console d'urgence IaaS, ainsi que la console PaaS ou encore les graphes de statistiques des machines virtuelles IaaS.

Navré pour la gêne occasionnée par cette maintenance.


Nous allons effectuer une maintenance d'urgence sur des unités de stockage dans la nuit du lundi 9 au mardi 10 Juin 2014.

Cette maintenance impactera les services suivants :

  •  www.gandi.net : accès a vos interfaces d'administration, possibilité de passer des commandes,
  • mail.gandi.net : IMAP(s), POP(s), SMTP(s), webmail (consultation et envoi)
  • redirections Web/HTTP(s)
  • Basekit / Sitemaker
  • approvisionnement zones DNS
  • groups / wiki
  • console d'urgence / résolveurs DNS hébergement in Paris
  • SimpleHosting (PaaS) approvisionnement virtualhost

La fenêtre de maintenance sera de 4 heures, entre 11:00 PM et 03:00 AM CEST (Paris).

Veuillez nous excuser de la gêne occasionnée par cette maintenance.

 

Détail :

 23:00 CEST : début de la maintenance.

 23:17 CEST : correction de la date dans l'intitulé de la maintenance.

 23:47 CEST : fin de la maintenance.


Nous rencontrons actuellement un problème de routage qui rend inaccessible une partie de notre réseau depuis certains endroits.
Notre équipe technique est en train d'analyser le problème afin de le corriger dès que possible.
Nous vous tiendrons au courant de l'évolution de ce problème dans les plus brefs délais.

 

UPDATE 05h15 : la mise en production d'une nouvelle configuration réseau a perturbé une partie de nos équipements. Veuillez nous excuser pour la gêne occasionnée.

Retour sur les évènements qui ont entrainés l'indisponibilité des VM pour certains de nos clients.

  • 10:25 CEST : Premier incident : 12 nodes raccordés à un  switch rencontrent une erreur rendant les machines injoignables. Plus de 200 VMs sont impactées et donc injoignables.
  • 10:40 CEST : Les nodes sont de nouveau démarrées et sont accessibles, les VMs sont disponibles.
Nos équipes investiguent mais ne trouvent rien de probant.
  • 14:01 CEST : Nouvel incident  : 8 nodes rencontrent de nouveau une erreur rendant les machines injoignables. ~180 VMs sont impactées.
  • 14:09 CEST: Les nodes sont de nouveau démarrées et sont accessibles, les VMs sont disponibles.
Nous avons mis en place des mesures afin de collecter plus d'informations sur le problème.
  • 16:56 CEST : Nouvel incident : 10 nodes impactés deviennent injoignables contenant 321 VMs.
  • 17:10 CEST : Toutes les VMs sont démarrées et sont accessibles.
Des informations précises ont été collectées. Elles devraient nous permettre de régler ce dysfonctionnement aussi vite que possible.

 


Page   1 2 37 8 9
Change the news ticker size