- Lorsque Microsoft 365 a connu une panne le 12 novembre, Mimecast a continué à réceptionner les e-mails de ses clients et a conservé près de 100 millions de messages en toute sécurité jusqu’à ce que leurs boîtes de réception soient rétablies, de sorte qu’aucun e-mail n’ait été perdu.
- Grâce à des régions isolées, à des copies redondantes de chaque service et à des e-mails stockés sur de nombreux sites, le flux de messagerie vers notre plateforme s’est maintenu pendant 18 heures, sans aucune intervention manuelle.
- Les clients utilisant la solution de continuité ont continué à consulter et à envoyer des e-mails via Mimecast. La demande sur le portail utilisateur a été multipliée par 35, ce qui a mis le système à rude épreuve et nous indique les points à améliorer à l'avenir.
Concevoir en prévision du jour où la boîte aux lettres disparaîtra
Lorsque Microsoft 365 a connu une panne le 12 novembre, les e-mails ont continué d'arriver. Voici un compte rendu technique expliquant comment notre plateforme a géré cette situation.
Par Paul Sowden
Points clés
Les 15 premières minutes
À 17 h 50 UTC (12 h 50 ET) le jeudi 12 novembre, nos alertes de non-remise ont commencé à se déclencher et les files d’attente d’e-mails en attente de remise ont commencé à s’allonger. Le flux de courriers entrants a ralenti, mais a continué d’affluer. En d’autres termes, nous ne pouvions plus transmettre les e-mails à Microsoft, mais le reste du monde continuait de nous en envoyer.
Tout réside dans l’écart entre les e-mails entrants et sortants. Lorsque l’extrémité opposée d’un pipeline d’e-mails disparaît, les expéditeurs ne cessent pas d’envoyer. Le carnet d’adresses d’Internet (DNS) continue de les diriger vers nous, et nos passerelles (les serveurs qui reçoivent les e-mails pour le compte de nos clients) continuent de les accepter. La question est alors de savoir quoi faire des e-mails dont on a pris la responsabilité mais qu’on ne peut pas transmettre.
Notre première question a été celle que se pose tout ingénieur de garde : est-ce de notre fait ? La distribution vers des destinations non Microsoft se poursuivait, ce qui nous a indiqué que le problème se situait en aval, et non chez nous. La première confirmation de Microsoft sur X à 17 h 54 UTC (12 h 54 ET) l’a confirmé. Voici ce qui s’est passé du côté de l’expéditeur : notre plateforme, qui retenait les e-mails et tentait de les acheminer.
Les files d’attente ont commencé à s’allonger quelques minutes après le début de l’incident dans chacune de nos neuf régions, indiquant qu’il s’agissait d’un événement mondial.
Comment fonctionnent le protocole SMTP et la messagerie électronique lorsque la destination disparaît
Le courrier électronique a été conçu pour des réseaux peu fiables ; l’échec de la remise est donc un état normal, et non une exception. Quatre propriétés du protocole SMTP (Simple Mail Transfer Protocol, l’ensemble des règles communes suivies par tous les serveurs de messagerie) déterminent la suite des événements.
- Le MX détermine à qui s’adresse l’expéditeur. Un serveur d’envoi recherche l’enregistrement MX (Mail Exchange) du domaine du destinataire, qui indique où doivent être acheminés les e-mails de ce domaine. Pour nos clients, cet enregistrement pointe vers nous, et non vers le fournisseur de messagerie, tel que Microsoft. L’expéditeur communique donc avec notre passerelle.
- Un code 250 transfère la responsabilité. Lorsque notre passerelle répond « 250 OK » (le code standard signifiant « message reçu »), le message nous appartient. L’expéditeur considère alors qu’il a été remis et n’y pense plus.
- Un code 4xx signifie « réessayer plus tard » ; un code 5xx signifie « abandonner ». Lorsque nous transmettons un e-mail et que nous rencontrons une erreur temporaire de type 4xx, un délai d’expiration ou une connexion refusée, nous conservons le message et réessayons. La norme relative aux e-mails (RFC 5321) prévoit que les expéditeurs continuent d’essayer pendant plusieurs jours, et non quelques minutes.
- Le principe de stockage et retransmission est à la base de cette conception. Chaque étape (chaque serveur sur le chemin) peut conserver un message jusqu’à ce que l’étape suivante soit prête.
Considérons maintenant l’alternative. Si le MX pointait directement vers le fournisseur de messagerie, chaque expéditeur sur Internet mettrait en file d’attente sa propre copie de chaque message. Cela signifierait des milliers de files d’attente indépendantes, chacune avec son propre calendrier de tentatives, certaines abandonnant prématurément. Le destinataire ne verrait rien et ne pourrait rien lire tant que sa boîte mail ne serait pas rétablie.
Une passerelle intégrée au chemin MX transforme cela en une seule file d’attente, avec une seule politique de relance, que nous pouvons surveiller et que les utilisateurs peuvent continuer à consulter grâce à la continuité (notre service qui permet aux utilisateurs de continuer à lire et à envoyer des e-mails lorsque leur boîte mail principale est indisponible). C’est là le pari architectural dont traite cet article.
Mimecast Apex™ : évolutivité et résilience
J’ai rejoint Mimecast dès les débuts de l’entreprise, et la philosophie de conception fondamentale est restée la même au fil des ans : tout peut tomber en panne. Cela s’applique à nos propres services et à notre infrastructure, mais aussi aux services et infrastructures auxquels nous nous connectons, comme Microsoft 365.
Un principe bien connu en informatique, le théorème CAP, stipule que lorsqu’un système stocke ses données sur de nombreux ordinateurs et que le réseau qui les relie tombe en panne, il doit faire un choix : toujours donner la bonne réponse, ou toujours donner une réponse. Les réseaux finissent toujours par tomber en panne ; la véritable question est donc de savoir à quoi on renonce pendant ces pannes : attendre d’être sûr de soi, ou répondre immédiatement en acceptant que les données puissent être brièvement obsolètes.
Au cours des premières années d’existence de Mimecast, notre approche privilégiait la cohérence (la bonne réponse) plutôt que la disponibilité (toujours une réponse). En 2011, à la suite d’un incident réseau ayant touché notre région du Royaume-Uni, nos clients nous ont clairement fait savoir que la messagerie électronique devait toujours fonctionner. Notre approche a alors évolué pour privilégier la disponibilité lorsque nous étions contraints de faire ce choix. Cette décision se concrétise désormais à travers trois principes fondamentaux :
Isolation régionale
Nous exploitons neuf régions distinctes. Cela garantit à nos clients la résidence des données (leurs données restent dans la partie du monde de leur choix) et nous offre un isolement naturel : la plateforme est conçue de telle sorte qu’une défaillance majeure dans une région n’affecte pas les clients d’une autre.
Services sans état fonctionnant en cluster
Les services multi-locataires et sans état, tels que la passerelle Mimecast Apex™, fonctionnent sous forme de nombreuses copies interchangeables ; ainsi, un problème survenant sur l’une d’entre elles est absorbé par les autres.
Les charges de travail avec état sont fortement fragmentées
Lorsqu’une charge de travail doit conserver des données, nous divisons à la fois les données et le travail en de nombreux petits fragments, appelés « shards », de sorte qu’une interruption touchant un seul fragment n’affecte qu’une petite fraction du courrier.
C’est cette philosophie qui a permis à la plateforme Mimecast Apex™ d’accompagner nos clients lors d’un événement mondial.
Mimecast Apex™ : une architecture sous charge soutenue
Pendant une journée entière, la plateforme a fonctionné dans un état pour lequel elle a été conçue mais qu’elle rencontre rarement : elle continuait d’accepter des e-mails, bien qu’à un rythme inférieur à la normale, tout en ne livrant pratiquement rien à une grande partie des destinataires.
Le taux de délivrabilité a chuté dans toutes les régions dans l’heure qui a suivi le début de l’incident et est resté proche de son niveau le plus bas jusqu’à environ midi (UTC) le lendemain. Nous avons observé deux types de baisse : une chute brutale dans des régions telles que les États-Unis et l’Australie, et un déclin progressif sur 18 heures dans d’autres, comme au Royaume-Uni.
Où sont passés les e-mails ?
Les messages acceptés à destination de destinataires injoignables ont été transférés vers Termite, notre plateforme de mise en file d’attente des e-mails spécialement conçue à cet effet (considérez-la comme une zone de stockage sécurisée pour les e-mails en attente de livraison). En tant que charge de travail avec état, Termite est fortement segmentée et distribuée. Elle est conçue à la fois pour acheminer les milliards d’e-mails que nous traitons chaque jour et pour les conserver pendant une période prolongée si la boîte de réception disparaît. Les messages sont copiés sur plusieurs sites physiques avant que nous renvoyions le code 250 « reçu ». Aucun accusé de réception n’est envoyé à l’expéditeur tant que le message n’est pas stocké en toute sécurité à plusieurs endroits.
Ce nom a été choisi à dessein. À l’instar d’une colonie de termites, Termite fonctionne comme un ensemble d’unités indépendantes, chacune œuvrant pour le bien de l’ensemble.
Au cours d’une journée de travail type, Termite gère activement environ 8 millions d’e-mails à l’échelle mondiale aux heures de pointe. Le 13 novembre, nous avons enregistré un volume près de 12 fois supérieur, avec des pics régionaux totalisant près de 100 millions.
*US et USB désignent tous deux les États-Unis d’Amérique.
Continuité : la file d’attente fait office de boîte aux lettres
L’architecture qui sous-tend la continuité est d’une simplicité remarquable, car elle réutilise ce qui existe déjà.
Lecture. Les e-mails auxquels les utilisateurs n’ont pas accès sont ceux qui se trouvent dans Termite, en attente que leur boîte de réception soit rétablie. Plutôt que de les copier ailleurs, nous présentons cette même file d’attente aux utilisateurs comme une boîte de réception alternative, via les outils Mimecast destinés aux utilisateurs finaux, tels que le Portail personnel et Mimecast pour Outlook. Il n’y a pas de deuxième espace de stockage à créer, à synchroniser ou vers lequel basculer.
Envoi. Les e-mails sortants transitent déjà par la passerelle Mimecast Apex™ ; les utilisateurs peuvent donc continuer à envoyer des e-mails via celle-ci, que leur boîte de réception principale fonctionne ou non. Les réponses empruntent le même chemin que tous les autres messages.
Récupération. Lorsque la boîte aux lettres est rétablie, Termite livre les e-mails mis en attente comme d’habitude, et la boîte de réception se retrouve complète, sans qu’il soit nécessaire de procéder à un rapprochement manuel.
Le facteur humain
Dès la première alerte, nous avons mis en place une cellule de crise fonctionnant 24 heures sur 24, avec une surveillance constante de tous les services affectés. Au fur et à mesure que l’incident évoluait, l’IA a créé des moniteurs supplémentaires, ce qui a permis à notre couverture de s’étendre au rythme du problème. Par exemple, un agent Cursor a recueilli des statistiques sur les files d’attente de chaque région, notamment la vitesse à laquelle chacune se vidait, et les a publiées toutes les 15 minutes sur le canal Slack dédié à l’incident, offrant ainsi à la cellule une vue d’ensemble cohérente de l’évolution de la situation. L’une de ses mises à jour, couvrant la période de 14 h 46 à 14 h 58 UTC
Ce qui a posé problème, et ce que nous changerions
J’aimerais pouvoir dire que tout s’est déroulé à la perfection, mais ce n’est pas le cas (et vous ne me croiriez pas même si je l’affirmais). Nos systèmes de flux de messagerie ont fonctionné sans aucune intervention : tous les e-mails pouvant être délivrés pendant l’incident l’ont été, et les files d’attente se sont vidées dès que Microsoft a été de nouveau opérationnel. Nous avons toutefois constaté des problèmes intermittents sur notre portail utilisateur pendant un certain temps. Leurs boîtes aux lettres Microsoft 365 étant indisponibles, les utilisateurs se sont tournés vers Mimecast pour accéder à leurs e-mails. Le nombre de consultations de boîtes aux lettres a été multiplié par 35, ce qui a mis le portail utilisateur à rude épreuve. Les ingénieurs ont ajusté les durées d’exécution des services et arrêté les services non critiques afin de libérer la capacité nécessaire.
La couche en amont
Tout peut tomber en panne. Nous avions inscrit cela comme principe de conception il y a des années, et le 12 novembre, ce principe a cessé d’être un principe pour devenir un jeudi après-midi.
La plupart du temps, cette couche est invisible. Les e-mails arrivent, sont vérifiés et transmis, et personne ne pense à la file d’attente intermédiaire. Sa valeur n’apparaît que le jour où la boîte de réception de destination disparaît. La tâche est simple à décrire mais difficile à mettre en œuvre : assumer la responsabilité de chaque message, transformer une panne en simple retard plutôt qu’en perte, permettre aux utilisateurs de continuer à travailler, et restituer les e-mails à un rythme que la boîte de réception peut gérer lorsqu’elle redevient opérationnelle.
En 2011, nos clients nous ont dit que le flux de courriels devait toujours être assuré. Le fait de stocker près de 100 millions de messages en une seule journée nous a permis de vérifier si nous les avions écoutés. Le flux de courriels s’est maintenu sans intervention. Le portail a été mis à rude épreuve, avec une demande 35 fois supérieure à la normale, ce qui nous indique où se situe notre prochain défi.
Tout cela n’a pas été rendu possible par le logiciel seul. Merci aux membres de notre centre de gestion des incidents, qui ont surveillé les graphiques 24 heures sur 24 et ont fait preuve de la discipline nécessaire pour laisser le système faire son travail. Et merci aux ingénieurs de Microsoft, qui ont passé ces mêmes heures à rétablir un service dont dépendent des millions de personnes.
Toute dépendance finit par échouer. Il faut concevoir en prévision du jour où cela arrivera.
Mots-clés associés
- Email & Collaboration Security