Afin de corriger des problèmes identifiés sur nos équipements de stockage, nous avons prévu ce soir une maintenance corrective entre 23h30 et 03h30 qui rendra vos disques indisponibles pour une durée de 15 à 20 minutes.

Nous vous recommandons de ne pas redémarrer votre serveur pendant cette opération, le service devrait revenir à la normale rapidement une fois celle-ci effectuée.

Si vous êtes concernés par cette maintenance, vous avez du recevoir un mail de notre part à ce sujet dont le contenu est disponible également sur cette page.

Nous mettrons à jour ce billet pour vous tenir informés des évolutions de cette opération.

Edit 23h40: opération débutée

Edit 00h32: premier reboot effectué, le comportement est conforme à nos attentes, nous continuons l'opération

Edit 01h00: la majorité des perturbations a lieu maintenant, les premiers reboots s'étant passés comme prévus.

Edit 01h30: les 3/4 de nos équipements sont maintenant à jour et fonctionnels. Si votre serveur a subi une interruption, celle-ci est désormais résolue. L'opération devrait s'achever dans l'heure.

Edit 01h34: un serveur physique a cessé de répondre suite à cette maintenance, nous redémarrons les serveurs concernés.

Edit 02h30: la maintenance est terminée, nous vous remercions de votre patience pendant cette opération


Un équipement de stockage présente un défaut probablement matériel. Nos équipes font le nécessaire actuellement pour rétablir la situation au plus vite. Nous vous recommandons de ne pas redémarrer votre serveur si vous êtes impactés. Nous vous tiendrons informés des suites de cet incident dans cet article.

 

edit 02h28: le service est rétabli, nous vous présentons nos excuses pour cette indisponibilité



Suite au déclenchement involontaire d'une maintenance sur nos équipements de stockage, l'ensemble de la production est actuellement indisponible pour une durée de 30 minutes.

Nous vous recommandons de ne pas redémarrer votre serveur et d'attendre le retour à la normale des opérations.

Les serveurs impactés (hosting, simple hosting) seront de retour d'ici quelques minutes. Nous vous tiendrons informés des suites de cette opération dès que possible.

 

[edit 00:00] Les services sont rétablis totalement depuis 21h20 -- la majorité des utilisateurs a retrouvé une situation normale avant 19h30, mais un filer a été plus long à démarrer. Les blocages identifiables ont été gérés manuellement. Nous vous invitons a redémarrer vos services si ceux-ci sont toujours indisponibles suite à cet incident, et à vous rapprocher du support si votre serveur n'est pas disponible.


Un équipement de stockage subit actuellement un ralentissement. Nos équipes travaillent actuellement à résoudre le problème.

 

Edit (10h45): la situation s'est rétablie progressivement à partir de 8h jusqu'à environ 9h. De très importants ralentissements ont été constatés de 6h30 à ~7h50.

 

Edit (25 janvier 10h00): un équipement de stockage subit des ralentissements. La situation est similaire à l'incident du 24 janvier. Notre équipe technique travaille à sa résolution

 

Edit (25 janvier 11h00): les ralentissements se sont resorbés. L'accès aux disques virtuels est revenu à la normal. Notre équipe technique travaille toujours sur une résolution pérenne pour le problème.

 

Edit (25 janvier 23h22): un équipement de stockage subit des ralentissements. La situation est similaire à l'incident de ce matin. Notre équipe technique travaille à sa résolution

 

Edit (26 janvier 00h26): les ralentissements se sont resorbés. L'accès aux disques virtuels est revenu à la normale. Notre équipe technique travaille toujours sur une résolution pérenne pour le problème.

 

Edit (27 janvier 20h11): un equipement de stockage subit des ralentissements. La situation est similaire aux incidents de la semaine. Notre équipe technique travaill à sa résolution.

 

Edit (27 janvier 23h00): les ralentissements sur les I/Os se sont stabilisés. Notre équipe technique travaille toujours sur une résolution pérenne pour le problème.

 

Edit (2 février 04h30): Un nouvel équipement présente actuellement un problème simliaire. Nous redémarrons le filer concerné. Nos équipes ont bien avancé sur la question et nous saurons bientôt corriger une partie de ces problèmes définitivement.

 

Edit (2 février 21h14): Nouvel incident sur un de nos équipements, des ralentissement on pu être noté, la situation revient progressivement à la normal.

Edit (6 février 03:06): Ralentissement actuellement en cours sur un de nos équipements.

 

 

Voici un peu plus d'informations sur la situation, pendant que nos spécialistes analysent le problème. Deux équipements de stockage sont concernés par ces incidents, qui sont des ralentissements ponctuels dans les lectures et écritures. Nous suspectons un problème logiciel d'une part (contention d'opérations) et un problème matériel décorélé pour le deuxième équipement (certains modèles de disques sont anormalement lents). 

 

Lorsque ces ralentissements surviennent, l'implémentation de iSCSI qui nous permet de connecter vos serveurs à leurs disques peut dysfonctionner. Il en résulte un "I/O wait" artificiellement haut (100%) même lorsque le stockage est de nouveau rapide. 

 

Nous travaillons à corriger ces trois problèmes en mettant la priorité sur la capacité de notre système à rétablir le service après un ralentissement.





Page   1 2 350 51 5262 63 64
Change the news ticker size