Un de nos équipements stockage ne répond plus. Il s'agit probablement d'une panne matérielle. Nous vous conseillons de ne pas redémarrer votre serveur si il ne répond plus et d'attendre la résolution de l'incident. Nos équipes sont sur place, nous vous tiendrons informés des suites de cet incident.

Update 11h38: il s'agit d'une tete de notre ancienne architecture de stockage. Un défaut de controleur disque a provoqué l'interruption du service. Nous procédons à la récupération du volume.

Update 12:12: Nous avons corrigé un bug kernel qui, en cas de défaut hard du controleur, nous permettra de débloquer plus rapidement la situation. Nous allons relancer le service dans quelques minutes.

Update 12h50: Nous avons relancé le service. Nous surveillons le controleur et nous procéderons à une coupure de moins d'une minute dans l'après midi pour une mise à jour.


Du fait d'attaques DDoS contre des services hébergés sur notre réseau, sa qualité n'est pas stable.  Nous observons des pics de plus de 30Gb/s liés à cette attaque.  Nous tentons actuellement d'améliorer la situation mais la connectivité vers certains réseaux restera moins bonne pendant cette incident.

Nous vous remercions de votre compréhension et vous présentons nos excuses pour les problèmes induits par cet incident.


Le problème survenu hier sur l'une de nos unités de stockage est en train de se reproduire sur une autre unité depuis 15h45 (heure de Paris). Nous avions planifié d'appliquer le patch de correction sur toutes nos unités mais, l'urgence fait que nous allons procéder à une maintenance immédiate sur l'unité puis sur toutes les autres le plus rapidement possible.

 

Veuillez encore une fois bien vouloir accepter nos excuses pour la gene occasionnée

 

16:30 Le patch est installé, le filer est en cours de reboot

16:38 Le filer est redemarré, nous controlons les serveurs concernés

17:17 tout semble ok. Maintenance terminée.


Nous rencontrons actuellement un incident sur une unité de stockage sur la plateforme d'hébergement qui impacte un certain nombre de serveurs.  Nos équipes travaillent pour rétablir le service aussi vite que possible.  Nous ajouterons plus d'informations dès qu'elles seront disponibles.

 

A noter que pour les clients qui ne sont pas impactés, nous avons stoppé préventivement l'ensemble des opérations sur vos serveurs (creation, arrêt...)

 

Veuillez excuser la gêne occasionnée.

 

16h20 Nous cherchons toujours la cause du problème avant de relancer vos serveurs.

17h45 Nous n'avons malheureusement pas de nouvelles informations à vous communiquer. Toute notre équipe est mobilisée afin de déterminer au plus vite la source du problème.

18h00 La tentative de passer sur la tête de secours du filer n'a pas donné de résultat satisfaisant.

19h30 Nous avons 2/3 bonnes pistes et essayons d'appliquer les patchs Kernel adequat. Le problème se situe au niveau des écritures sur les disques. Le bug semble connu chez Sun mais pas vraiment la solution.

21h30 Toujours sur la même piste. Certains disques refonctionnent mais pas tous. Nous n'avons pas d'ETA à vous donner mais ça prendra encore plusieures heures au moins :(

21h50 On a bientôt un nouveau Kernel, on va tenter le reboot juste après.

00h00 On n'est pas loin du moment de vérité. Nous testons actuellement notre nouveau Kernel et l'appliquons sur un filer ZFS de test. On le passe ensuite sur le filer qui pose problème pour vérifier que ça corrige bien le problème.

01h00 Victoire ! (enfin j'espère) Le filer semble bien se comporter pour le moment. Nous redémarrons les serveurs que nous avions préventivement eteints et surveillons tout ça pendant encore un petit moment. Merci à tous pour votre patience et vos messages d'encouragement. Nous enverrons demain un rapport complet sur l'incident.


Les serveurs mails de gandi subissent actuellement une forte charge dû a plusieurs botnets en provenance d'Asie (principalement Inde et Vietnam) et d'Europe de l'Est.

De ce fait le nombre de connections est actuellement multiplié par 10. Le trafic est donc perturbé, nous n'avons pour le moment pas les moyens de faire face à ce type de trafic. Nos équipes travaillent actuellement à résoudre le problème.

Veuillez nous excuser pour la gêne occasionnée.

 

Mise à jour du 3 octobre 2011 à 16:30 CEST : Meme si la forte charge sur le service a beaucoup diminué à l'heure actuelle, nous laissons l'indicateur du service gandimail en orange pour le moment pendant que nous continuons de surveiller la plate-forme et que nous préparons une solution pereine et fiable dans les prochains jours.


Suite a un incident réseau certains de nos services sont inacessibles (mail, admin blog).

Nos équipes travaillent à la résolution, nous donnerons de plus amples détails par la suite.

EDIT 14h17: La situation est revenue à la normale. Un de nos loadbalancer a eut un problème empêchant du même coup la bascule sur le secondaire.

Veuillez nous excuser pour la gêne occasionnée.


La distribution des emails des clients a été perturbé par un certain nombre de larges botnets utilisés pour le spam. Les retards sont du, en premier lieu, à la ferme des serveurs de filtrage, qui sont en place pour expurger les spams, viruses et logiciels malveillants des fichiers attachés aux emails. Ces serveurs sont devenus lourdement chargés en traitant les emails envoyés par ces réseaux de machines compromises. Après une analyse rapide, ces botnets semblent etre plus spécialement composés d'appareils mobiles infectés à travers le monde.

 

Nos équipes ont commencé par ajouter des serveurs de filtrage et de traitement de mail d'entrée pour lisser la charge induite par ces botnets. Sur les prochaines heures et les prochains jours, nous allons travailler pour implémenter des solutions plus robustes pour combattre ce traffic supplémentaire anormal.

 

Nous vous prions de bien vouloir accepter nos excuses pour les délais de distribution des emails.


Suite à un problème de DNS interne, l'ensemble des services Gandi répondant sous son domaine a donc été impacté et nous nous efforçons de remonter tous ces services.

Aucun serveur ni aucun nom de domaine client n'a été affectés, aucun email n'a été perdu
(il y aura tout de même un retard de livraison à cause de l'empilement des emails en
attente).

Nous vous prions de bien vouloir nous excuser pour la gêne occasionnée.

 

Update: Incident terminé, merci de votre compréhension


Mercredi 14 septembre, à partir de 23h00 (heure de Paris), et pour une durée n'excédant pas 3 heures, le webmail RoundCube de la solution Gandi Mail sera indisponible.
Aucune interruption ne se fera dans la réception des emails et vous retrouverez ceux-ci dans votre interface RoundCube à la réouverture de celui-ci.

Les mails seront bien sur consultables via un autre webmail ou tout autre client mail.


Nous subissons actuellement une anomalie avec le service GandiMail qui perturbe la réception des emails. Notre équipe technique est actuellement en train d'étudier le problème. Les messages entrants sont actuellement mis en attente pendant que nous analysons le sous-système problématique. Les messages sortants ne sont pas affectés par cet incident.

 

Veuillez accepter nos excuses pour la gène occasionnée.


Update 11:00 CET: La reception des messages est de nouveau opérationnelle mais la mise en attente du flux précédent engendre quelques retards de livraison qui devraient être résorbés d'ici le début de l'après-midi.

Update 16:30 : Le retard est maintenant totalement rattrapé. Le retard a été dû a un disfonctionnement de notre système d'antispam.

 

Veuillez nous excuser pour la gêne occasionnée.


Page   1 2 311 12 13 14
Change the news ticker size