soleia
Warning: Missing argument 4 for member_qualif(), called in /home/users4/s/solisa/www/prntopic.php on line 146 and defined in /home/users4/s/solisa/www/functions.php on line 390
 47539 
 Ă©claireur
|  Posté : 22-02-2010 14:08
Bonjour Rwanito,
Effectivement, hier notre hébergeur a rencontré un sérieux problème qui semble résolu depuis 
Ci-dessous, copier-coller reçu hier soir vers 21 heures.
objet : [PHPNET] Incident sur plateforme de stockage
>
>
>
> Client: *******
> ----------------------
> Bonsoir,
>
> Nous avons rencontré ce jour un incident important sur notre nouvelle plateforme
> de stockage, et ce malgré les nombreux tests que nous avons effectué sur le système
> pendant plusieurs semaines.
>
> Cet incident majeur a engendré des perturbations importantes au niveau performances
> et des indisponibilités sur les sites hébergés en offre mutualisée 'standard'.
>
> Nos équipes sont restées mobilisées pendant toute la nuit et la journée afin de
> rétablir la situation le plus rapidement possible.
>
> Malgré tous nos efforts, nous avons finalement été contraint de rebasculer en
> urgence vers nos anciennes plateformes de stockage, ce qui a pu faire revenir
> certains comptes a une date antérieure.
> Le différenciel de données n'est pas perdu et est actuellement en train de se
> resynchroniser. Ceci va prendre plusieurs heures mais aucune donnée ne pourra
> avoir éyé perdue.
>
> Vous trouverez ci-dessous un recapitulatif du déroulement des opérations qui ont
> été effectuées ce jour.
>
> Compte tenu de la gravité de l'incident et surtout de sa durée, un geste commercial
> sera effectué dans les prochains jours afin de comprenser la gene occasionnée.
>
> Nos Ă©quipes de support se tiennent a votre disposition pour toute information
> complémentaire.
>
> Merci par avance de votre comprehension,
>
>
> -----------------------
> Détails de la journée :
>
> - 21/02, 00h20 : nos systèmes de monitoring et d'alerte nous ont informé
> d'une charge anormale sur la plateforme de stockage.
> Nous sommes alors intervenus mais nous n'avons pas pu identifier < clairement >
> le probleme. Nous n'avons pu que stabiliser la situation pour la nuit et nous
> avons informé immédiatement Nexenta du dysfonctionnement.
> Le service était néanmoins fonctionnel.
>
> - 21/02, 09h00 : nous avons repris les investigations afin de comprendre
> l'incident rencontré pendant la nuit. Sans raison apparente, les performances
> générales de la plateforme restaient médiocres. Les investigations ont été
> poursuivies par notre Ă©quipe et par les services de Nexenta US.
>
> - 21/02, 12h00 : les performances ont continuées a se deteriorer.
> Nous avons redemarré le daemon NFS, ce qui a en plus engendré des soucis
> aléatoires et incompréhensibles de montage NFS. Ceci a engendré aléatoirement
> des erreurs 403 sur une partie des sites hébergés. Seul un reboot de tous
> les nodes a permis de remonter correctement les shares.
>
> - 21/02, 14h00 : un reboot complet de la plateforme a été effectué.
> Suite au reboot, les performances etaient toujours desastreuses et les soucis
> intermitents etaient toujours présents.
>
> - 21/02, 15h00 : les equipes de nexenta effectuaient des tests sur la plateforme
> et analysaient les logs, le flux réseau et les stats diverses.
>
> - 21/02, 17h00 : des erreurs de flux SCSI ont été trouvées et nous avons donc
> procédé a des tests physiquement en salle serveurs afin d'eliminer la possibilitée
> d'un soucis hardware.
> Tests sans succès, ceci n'a pas permis de confirmer qu'il s'agissait d'un
> soucis hardware.
> La plateforme est donc pour le moment mise en attente afin d'etre expertisée
> en détail et elle ne sera pas mise en production avant que l'origine précise
> de ces soucis ne soit déterminée.
>
> - 21/02, 18h00 : Nous avons décidé de lancer la bascule en sens 'inverse' afin
> de pouvoir retablir le service en utilisant les anciennes plateformes de stockage.
>
> - 21/02, 20h00 : nous avons lancé les scripts de resynchronisation afin d'éviter
> toute perte de données.
> -----------------------
>
> Excellente soirée a tous, |
