- Cuando Microsoft 365 dejó de funcionar el 12 de noviembre, Mimecast siguió recibiendo correos electrónicos para sus clientes y retuvo de forma segura cerca de 100 millones de mensajes hasta que se restablecieron sus buzones, por lo que no se perdió ningún correo.
- Las regiones aisladas, las copias intercambiables de cada servicio y el correo almacenado en múltiples ubicaciones mantuvieron el flujo de correo hacia nuestra plataforma durante 18 horas, sin necesidad de intervención manual.
- Los clientes que utilizaban la función de continuidad siguieron leyendo y enviando correos electrónicos a través de Mimecast. La demanda en el portal de usuarios se multiplicó por 35, lo que lo sobrecargó y nos indica en qué aspectos debemos mejorar en el futuro.
Diseñar pensando en el día en que desaparezca el buzón
Cuando Microsoft 365 dejó de funcionar el 12 de noviembre, los correos siguieron llegando. Este es un informe técnico sobre cómo gestionó nuestra plataforma esa situación.
Por Paul Sowden
Puntos clave
Los primeros 15 minutos
A las 17:50 UTC (12:50 ET) del jueves 12 de noviembre, empezaron a activarse nuestras alertas de entrega fallida y las colas de correos electrónicos pendientes de entrega comenzaron a crecer. El correo entrante se ralentizó, pero siguió llegando. En otras palabras, ya no podíamos reenviar el correo a Microsoft, pero el resto del mundo seguía enviándonoslo.
La diferencia entre el correo entrante y el saliente lo explica todo. Cuando desaparece el extremo más alejado de un canal de correo electrónico, los remitentes no dejan de enviar. La agenda de direcciones de Internet (DNS) sigue dirigiéndolos hacia nosotros, y nuestras pasarelas (los servidores que reciben el correo electrónico en nombre de nuestros clientes) siguen aceptándolo. La cuestión es qué hacer con el correo del que te has hecho responsable pero que no puedes entregar.
Nuestra primera pregunta fue la que se hace cualquier ingeniero de guardia: ¿es culpa nuestra? La entrega a destinos ajenos a Microsoft se mantenía, lo que nos indicaba que el problema estaba más adelante en la cadena, no en nosotros. El primer comunicado de Microsoft sobre X a las 17:54 UTC (12:54 ET) lo confirmó. Lo que sigue es la perspectiva desde el lado del remitente: nuestra plataforma, reteniendo el correo e intentando entregarlo.
Las colas comenzaron a crecer a los pocos minutos del inicio del incidente en nuestras nueve regiones, lo que indicaba que se trataba de un incidente global.
Qué hacen el SMTP y el correo electrónico cuando el destino desaparece
El correo electrónico se diseñó para redes poco fiables, por lo que el fallo en la entrega es un estado normal, no una excepción. Cuatro propiedades del SMTP (Protocolo simple de transferencia de correo, las reglas comunes que sigue todo servidor de correo electrónico) determinan lo que ocurre a continuación.
- El MX determina con quién se comunica el remitente. Un servidor de envío consulta el registro MX (Mail Exchange) del dominio del destinatario, que indica adónde debe dirigirse el correo electrónico de ese dominio. En el caso de nuestros clientes, ese registro apunta a nosotros, no al proveedor del buzón, como Microsoft. La comunicación del remitente se establece con nuestra pasarela.
- Un 250 transfiere la responsabilidad. Cuando nuestra pasarela responde 250 OK (el código estándar para «mensaje recibido»), el mensaje pasa a ser nuestro. El remitente lo da por entregado y se olvida de él.
- Un código 4xx significa «inténtalo más tarde»; un 5xx significa «desiste». Cuando reenviamos un correo y recibimos un error 4xx temporal, un tiempo de espera agotado o una conexión rechazada, conservamos el mensaje y volvemos a intentarlo. El estándar de correo electrónico (RFC 5321) espera que los remitentes sigan intentándolo durante días, no minutos.
- El diseño se basa en el almacenamiento y reenvío. Cada salto (cada servidor en el camino) puede retener un mensaje hasta que el siguiente salto esté listo.
Ahora consideremos la alternativa. Si el MX apuntara directamente al proveedor del buzón, cada remitente de Internet pondría en cola su propia copia de cada mensaje. Eso significaría miles de colas independientes, cada una con su propio programa de reintentos, y algunas desistirían prematuramente. El destinatario no vería nada ni podría leer nada hasta que el buzón volviera a estar operativo.
Una pasarela en la ruta del MX convierte todo eso en una única cola, con una única política de reintentos, que podemos supervisar y que los usuarios pueden seguir consultando gracias a «continuity» (nuestro servicio que permite a los usuarios seguir leyendo y enviando correo electrónico mientras su buzón principal está inactivo). Esa es la apuesta arquitectónica de la que trata esta entrada.
Mimecast Apex™: escalabilidad y resiliencia
Me incorporé a Mimecast en los inicios de la empresa, y la filosofía de diseño fundamental se ha mantenido constante a lo largo de los años: todo falla. Esto se aplica tanto a nuestros propios servicios e infraestructura como, en igual medida, a los servicios e infraestructura a los que nos conectamos, como Microsoft 365.
Un principio muy conocido en informática, el teorema CAP, afirma que cuando un sistema almacena sus datos en muchos ordenadores y la red que los conecta se interrumpe, tiene que elegir: dar siempre la respuesta correcta o dar siempre una respuesta. Las redes acaban fallando tarde o temprano, así que la verdadera pregunta es a qué se renuncia mientras están fuera de servicio: esperar hasta estar seguro o responder de inmediato y aceptar que los datos puedan estar desactualizados momentáneamente.
En los primeros años de Mimecast, nuestro enfoque daba prioridad a la coherencia (la respuesta correcta) frente a la disponibilidad (dar siempre una respuesta). En 2011, tras un incidente de red que afectó a nuestra región del Reino Unido, nuestros clientes nos dejaron muy claro que el correo electrónico debe fluir siempre. Nuestro enfoque pasó a dar prioridad a la disponibilidad cuando nos veíamos obligados a tomar esa decisión. Esa decisión se materializa ahora a través de tres principios fundamentales:
Aislamiento regional
Operamos en nueve regiones distintas. Esto garantiza a los clientes la residencia de los datos (sus datos permanecen en la parte del mundo que elijan) y nos proporciona un aislamiento natural: la plataforma está diseñada de tal forma que un fallo significativo en una región no afecte a los clientes de otra.
Los servicios sin estado se ejecutan como una flota
Los servicios multitenant y sin estado, como Mimecast Apex™ Gateway, se ejecutan en numerosas copias intercambiables, de modo que cualquier problema en una de ellas es absorbido por el resto.
Las cargas de trabajo con estado se fragmentan en gran medida
Cuando una carga de trabajo debe almacenar datos, dividimos tanto los datos como la tarea en muchas partes pequeñas, denominadas «fragmentos», de modo que una interrupción en cualquier fragmento solo afecta a una pequeña fracción del correo.
Esta filosofía es la que permitió a la plataforma Mimecast Apex dar soporte a nuestros clientes durante un evento de alcance mundial.
Mimecast Apex™: arquitectura bajo carga sostenida
Durante todo un día, la plataforma funcionó en un estado para el que está diseñada, pero que rara vez se da: seguía aceptando correo, aunque no a los ritmos habituales, mientras que prácticamente no entregaba nada a una gran parte de los destinos.
La tasa de entrega cayó en todas las regiones en la primera hora tras el inicio del incidente y se mantuvo cerca de su mínimo hasta aproximadamente el mediodía (UTC) del día siguiente. Observamos dos tipos de caída: una caída abrupta en regiones como EE. UU. y Australia, y un descenso constante durante 18 horas en otras, como el Reino Unido.
¿Adónde fue a parar el correo?
Los mensajes aceptados con destinos inaccesibles pasaron a Termite, nuestra plataforma de colas de correo electrónico diseñada específicamente para este fin (piensa en ella como una zona de retención segura para el correo a la espera de ser entregado). Al tratarse de una carga de trabajo con estado, Termite está muy fragmentada y distribuida. Está diseñada tanto para gestionar los miles de millones de correos electrónicos que procesamos cada día como para retenerlos durante un periodo prolongado en caso de que el buzón desaparezca. Los mensajes se copian en múltiples ubicaciones físicas antes de que devolvamos el código 250 de «recibido». No se confirma nada al remitente hasta que el mensaje se haya almacenado de forma segura en más de un lugar.
El nombre es deliberado. Al igual que una colonia de termitas, Termite funciona como un conjunto de unidades independientes, cada una de las cuales trabaja para el conjunto.
En un día laborable normal, Termite gestiona activamente unos 8 millones de correos electrónicos en todo el mundo en los momentos de mayor tráfico. El 13 de noviembre registramos casi 12 veces ese volumen, con picos regionales que alcanzaron un total de casi 100 millones.
*US y USB se refieren ambos a Estados Unidos de América.
Continuidad: la cola es el buzón
La arquitectura que sustenta la continuidad es maravillosamente sencilla, ya que reutiliza lo que ya existe.
Lectura. Los correos a los que los usuarios no pueden acceder son aquellos que se encuentran en Termite, a la espera de que su buzón vuelva a estar disponible. En lugar de copiarlos a otro lugar, mostramos esa misma cola a los usuarios como un buzón alternativo, a través de las herramientas para usuarios finales de Mimecast, como el Portal Personal y Mimecast para Outlook. No hay que crear un segundo almacén, mantenerlo sincronizado ni cambiar a él.
Envío. El correo saliente ya pasa por Mimecast Apex Gateway, por lo que los usuarios pueden seguir enviándolo a través de él, independientemente de si su buzón principal funciona o no. Las respuestas siguen la misma ruta que el resto de mensajes.
Recuperación. Cuando el buzón vuelve a estar operativo, Termite entrega el correo retenido con total normalidad, y la bandeja de entrada queda completa, sin necesidad de realizar ninguna conciliación manual.
El factor humano
Desde la primera alerta, pusimos en marcha una sala de incidentes que funcionaba las 24 horas del día, con todos los servicios afectados bajo vigilancia constante. A medida que se desarrollaba el incidente, la IA creó monitores adicionales, de modo que nuestra cobertura creció al mismo ritmo que el problema. Por ejemplo, un agente de Cursor recopiló estadísticas de las colas de todas las regiones, incluida la rapidez con la que se vaciaba cada una, y las publicó en el canal de Slack dedicado al incidente cada 15 minutos, lo que proporcionó a la sala una visión coherente del flujo de mensajes. Una de sus actualizaciones, correspondiente al periodo de 14:46 a 14:58 UTC
Lo que falló y lo que cambiaríamos
Me encantaría decir que todo funcionó a la perfección, pero no fue así (y no me creeríais aunque lo dijera). Nuestros sistemas de flujo de correo funcionaron sin necesidad de intervención: se entregaron todos los correos electrónicos que se pudieron entregar durante el incidente, y las colas se vaciaron en cuanto Microsoft volvió a estar operativo. Sin embargo, sí que observamos problemas intermitentes en nuestro portal de usuarios finales durante un tiempo. Al no estar disponibles sus buzones de Microsoft 365, los usuarios recurrieron a Mimecast para acceder a su correo. Las visitas a los buzones se multiplicaron por 35, lo que supuso una carga considerable para el portal de usuarios finales. Los ingenieros ajustaron los tiempos de ejecución de los servicios y detuvieron los servicios no críticos para liberar la capacidad necesaria.
La capa frontal
Todo falla. Lo anotamos como principio de diseño hace años, y el 12 de noviembre dejó de ser un principio para convertirse en una tarde de jueves.
La mayor parte del tiempo, esta capa es invisible. El correo llega, se comprueba y se reenvía, y nadie piensa en la cola que hay entre medias. Su valor solo se hace evidente el día en que el buzón de destino desaparece. La tarea es sencilla de describir y difícil de llevar a cabo: asumir la responsabilidad de cada mensaje, convertir una interrupción en un retraso en lugar de una pérdida, ofrecer a los usuarios una forma de seguir trabajando y devolver el correo a un ritmo que el buzón pueda gestionar cuando vuelva a estar operativo.
En 2011, nuestros clientes nos dijeron que el correo electrónico debía fluir siempre. Retener cerca de 100 millones de mensajes en un solo día puso a prueba si les habíamos escuchado. El flujo de correo se mantuvo sin intervención. El portal se vio sometido a una carga 35 veces superior a la habitual, y eso nos está indicando cuál es nuestra próxima tarea.
Nada de esto se debió únicamente al software. Gracias al personal de nuestra sala de incidentes, que vigiló los gráficos las 24 horas del día y tuvo la disciplina necesaria para dejar que el sistema hiciera su trabajo. Y gracias a los ingenieros de Microsoft, que dedicaron esas mismas horas a restablecer un servicio del que dependen millones de personas.
Toda dependencia acaba fallando en algún momento. Hay que diseñar pensando en el día en que eso ocurra.
Etiquetas relacionadas
- Email & Collaboration Security