- Als Microsoft 365 am 12. November ausfiel, nahm Mimecast weiterhin E-Mails für seine Kunden entgegen und speicherte fast 100 Millionen Nachrichten sicher, bis die Postfächer wieder verfügbar waren, sodass keine E-Mails verloren gingen.
- Dank isolierter Regionen, austauschbarer Kopien aller Dienste und an vielen Standorten gespeicherter E-Mails flossen die E-Mails 18 Stunden lang ohne manuelles Eingreifen auf unsere Plattform.
- Kunden, die die Kontinuitätslösung nutzten, konnten weiterhin E-Mails über Mimecast lesen und versenden. Die Nachfrage auf dem Benutzerportal stieg um das 35-Fache, was das Portal stark belastete und uns zeigt, wo wir als Nächstes Verbesserungen vornehmen müssen.
Planung für den Tag, an dem der Briefkasten verschwindet
Als Microsoft 365 am 12. November ausfiel, kamen weiterhin E-Mails an. Hier ist ein technischer Bericht darüber, wie unsere Plattform damit umgegangen ist
Von Paul Sowden
Wichtige Punkte
Die ersten 15 Minuten
Am Donnerstag, dem 12. November, um 17:50 Uhr UTC (12:50 Uhr ET) begannen unsere Warnmeldungen wegen fehlgeschlagener Zustellungen einzutreffen, und die Warteschlangen der auf ihre Zustellung wartenden E-Mails wurden immer länger. Der Posteingang verlangsamte sich, aber es kamen weiterhin E-Mails an. Mit anderen Worten: Wir konnten E-Mails nicht mehr an Microsoft weiterleiten, aber der Rest der Welt schickte sie weiterhin an uns.
Die Diskrepanz zwischen eingehenden und ausgehenden E-Mails ist der Kern des Problems. Wenn das andere Ende einer E-Mail-Pipeline verschwindet, hören die Absender nicht auf zu senden. Das Adressbuch des Internets (DNS) verweist sie weiterhin auf uns, und unsere Gateways (die Server, die E-Mails im Auftrag unserer Kunden empfangen) nehmen sie weiterhin an. Die Frage ist nun, was man mit E-Mails macht, für die man die Verantwortung übernommen hat, die man aber nicht weiterleiten kann.
Unsere erste Frage war die, die sich jeder Ingenieur im Bereitschaftsdienst stellt: Liegt es an uns? Die Zustellung an Nicht-Microsoft-Empfänger funktionierte weiterhin, was uns zeigte, dass das Problem weiter unten in der Kette lag und nicht bei uns. Die erste Bestätigung von Microsoft auf X um 17:54 UTC (12:54 ET) bestätigte dies. Was nun folgt, ist die Sichtweise der sendenden Seite: unsere Plattform, die die E-Mails zurückhält und versucht, sie zuzustellen.
Innerhalb weniger Minuten nach Beginn stiegen die Warteschlangen in allen unseren neun Regionen an, was darauf hindeutete, dass es sich um ein globales Ereignis handelte.
Was SMTP und E-Mail tun, wenn der Empfänger ausfällt
E-Mail wurde für unzuverlässige Netzwerke konzipiert, daher ist eine fehlgeschlagene Zustellung ein normaler Zustand und keine Ausnahme. Vier Eigenschaften von SMTP (Simple Mail Transfer Protocol, die gemeinsamen Regeln, denen jeder E-Mail-Server folgt) entscheiden darüber, was als Nächstes geschieht.
- MX entscheidet, mit wem der Absender kommuniziert. Ein sendender Server fragt den MX-Eintrag (Mail Exchange) der Empfängerdomain ab, der angibt, wohin die E-Mails dieser Domain geleitet werden sollen. Bei unseren Kunden verweist dieser auf uns und nicht auf den E-Mail-Anbieter wie beispielsweise Microsoft. Der Absender kommuniziert also mit unserem Gateway.
- Ein 250 überträgt die Verantwortung. Wenn unser Gateway mit „250 OK“ antwortet (der Standardcode für „Nachricht empfangen“), gehört die Nachricht uns. Der Absender betrachtet sie als zugestellt und vergisst sie.
- „4xx“ bedeutet „später erneut versuchen“; „5xx“ bedeutet „aufgeben“. Wenn wir E-Mails weiterleiten und dabei einen vorübergehenden 4xx-Fehler, ein Timeout oder eine abgelehnte Verbindung erhalten, behalten wir die Nachricht und versuchen es erneut. Der E-Mail-Standard (RFC 5321) erwartet von Absendern, dass sie es tagelang und nicht nur minutenlang erneut versuchen.
- Store-and-Forward ist das Konzept. Jeder Hop (jeder Server auf dem Weg) kann eine Nachricht so lange zurückhalten, bis der nächste Hop bereit ist.
Betrachten wir nun die Alternative. Würde der MX-Eintrag direkt auf den E-Mail-Anbieter verweisen, würde jeder Absender im Internet seine eigene Kopie jeder Nachricht in eine Warteschlange stellen. Das würde Tausende unabhängiger Warteschlangen bedeuten, jede mit ihrem eigenen Wiederholungsplan, wobei einige frühzeitig aufgeben würden. Der Empfänger würde nichts sehen und könnte nichts lesen, bis das Postfach wieder verfügbar wäre.
Ein Gateway im MX-Pfad wandelt dies in eine einzige Warteschlange mit einer einzigen Wiederholungsrichtlinie um, die wir überwachen können und die Nutzer dank „Continuity“ (unserem Dienst, der es Nutzern ermöglicht, weiterhin E-Mails zu lesen und zu versenden, während ihr Hauptpostfach ausgefallen ist) weiterhin nutzen können. Das ist die architektonische Entscheidung, um die es in diesem Beitrag geht.
Mimecast Apex™: Skalierbarkeit und Ausfallsicherheit
Ich bin schon in den Anfängen des Unternehmens zu Mimecast gekommen, und die zentrale Designphilosophie ist über die Jahre hinweg unverändert geblieben: Alles fällt aus. Das gilt für unsere eigenen Dienste und unsere Infrastruktur ebenso wie für die Dienste und die Infrastruktur, mit denen wir verbunden sind, wie beispielsweise Microsoft 365.
Ein bekanntes Prinzip der Informatik, das CAP-Theorem, besagt: Wenn ein System seine Daten auf vielen Computern speichert und die Verbindung zwischen diesen unterbrochen wird, muss es sich entscheiden: entweder immer die richtige Antwort geben oder immer eine Antwort geben. Netzwerke fallen früher oder später immer aus, daher lautet die eigentliche Frage: Worauf verzichtet man, während sie ausgefallen sind – wartet man, bis man sicher ist, oder antwortet man sofort und akzeptiert, dass die Daten möglicherweise kurzzeitig veraltet sind?
In den Anfangsjahren von Mimecast gab unser Ansatz der Konsistenz (der richtigen Antwort) den Vorrang vor der Verfügbarkeit (immer eine Antwort). Im Jahr 2011, nach einem Netzwerkvorfall, der unsere Region in Großbritannien betraf, erhielten wir von unseren Kunden eine klare Botschaft: E-Mails müssen immer durchkommen. Unser Ansatz verlagerte sich dahin, der Verfügbarkeit Vorrang zu geben, wenn wir gezwungen waren, diese Entscheidung zu treffen. Diese Entscheidung wird nun durch drei Grundprinzipien umgesetzt:
Regionale Isolation
Wir betreiben neun separate Regionen. Das gewährleistet unseren Kunden Datenresidenz (ihre Daten verbleiben in dem Teil der Welt, den sie wählen) und verschafft uns eine natürliche Isolation: Die Plattform ist so konzipiert, dass ein schwerwiegender Ausfall in einer Region keine Auswirkungen auf Kunden in einer anderen Region hat.
Stateless-Dienste laufen als Flotte
Mandantenfähige, zustandslose Dienste wie das Mimecast Apex™ Gateway laufen als viele untereinander austauschbare Instanzen, sodass ein Problem bei einer einzelnen Instanz von den übrigen aufgefangen wird.
Zustandsbehaftete Workloads werden stark fragmentiert
Wenn eine Workload Daten speichern muss, teilen wir sowohl die Daten als auch die Aufgaben in viele kleine Teile auf, sogenannte Shards, sodass eine Unterbrechung bei einem einzelnen Shard nur einen kleinen Teil der E-Mails betrifft.
Diese Philosophie hat es der Mimecast Apex-Plattform ermöglicht, unsere Kunden während eines globalen Ereignisses zu unterstützen.
Mimecast Apex™: Architektur unter anhaltender Belastung
Einen ganzen Tag lang lief die Plattform in einem Zustand, für den sie zwar ausgelegt ist, den sie aber selten erlebt: Sie nahm weiterhin E-Mails entgegen – wenn auch nicht in normalem Umfang –, während sie an einen Großteil der Empfänger fast keine E-Mails zustellte.
Die Zustellquote sank in jeder Region innerhalb einer Stunde nach Beginn des Vorfalls und blieb bis etwa Mittag UTC am nächsten Tag auf einem Tiefstand. Wir beobachteten zwei Arten des Rückgangs: einen abrupten Einbruch in Regionen wie den USA und Australien sowie einen stetigen Rückgang über 18 Stunden in anderen Regionen wie Großbritannien.
Wohin die E-Mails gingen
Angenommene Nachrichten für nicht erreichbare Empfänger wurden in „Termite“ verschoben, unsere speziell entwickelte E-Mail-Warteschlangenplattform (stellen Sie sich diese als sicheren Zwischenbereich für E-Mails vor, die auf ihre Zustellung warten). Als zustandsbehaftete Workload ist Termite stark fragmentiert und verteilt. Es ist sowohl darauf ausgelegt, die Milliarden von E-Mails zu verarbeiten, die wir täglich bearbeiten, als auch, diese über einen längeren Zeitraum aufzubewahren, falls das Postfach nicht mehr erreichbar ist. Nachrichten werden auf mehrere physische Standorte kopiert, bevor wir den 250-„Received“-Code zurückgeben. Dem Absender wird nichts bestätigt, bis die Nachricht sicher an mehr als einem Ort gespeichert ist.
Der Name ist bewusst gewählt. Wie eine Termitenkolonie läuft Termite als eine Reihe unabhängiger Einheiten, von denen jede für das Ganze arbeitet.
An einem typischen Arbeitstag verwaltet Termite weltweit in Spitzenzeiten aktiv etwa 8 Millionen E-Mails. Am 13. November verzeichneten wir fast das 12-Fache dieses Volumens mit regionalen Spitzenwerten von insgesamt fast 100 Millionen.
*US und USB stehen beide für Vereinigte Staaten von Amerika.
Kontinuität: Die Warteschlange ist das Postfach
Die Architektur hinter der Kontinuität ist wunderbar einfach, da sie bereits Vorhandenes wiederverwendet.
Lesen: Die E-Mails, auf die die Nutzer nicht zugreifen können, befinden sich in Termite und warten darauf, dass ihr Postfach wieder verfügbar ist. Anstatt sie an einen anderen Ort zu kopieren, zeigen wir den Nutzern dieselbe Warteschlange als alternatives Postfach an – über die Endnutzer-Tools von Mimecast wie das Personal Portal und Mimecast für Outlook. Es muss kein zweiter Speicher aufgebaut, synchronisiert oder umgeschaltet werden.
Versenden. Ausgehende E-Mails werden bereits über das Mimecast Apex™ Gateway geleitet, sodass Nutzer weiterhin über dieses Gateway versenden können, unabhängig davon, ob ihr Hauptpostfach funktioniert oder nicht. Antworten werden auf demselben Weg versendet wie alle anderen Nachrichten.
Wiederherstellung. Sobald das Postfach wieder verfügbar ist, liefert Termite die zurückgehaltenen E-Mails wie gewohnt aus, und der Posteingang ist wieder vollständig – es muss nichts manuell abgeglichen werden.
Der menschliche Faktor
Ab der ersten Warnmeldung betrieben wir rund um die Uhr eine Einsatzzentrale, in der jeder betroffene Dienst ständig überwacht wurde. Im Verlauf des Vorfalls erstellte die KI zusätzliche Überwachungsinstanzen, sodass unsere Abdeckung mit dem Ausmaß des Problems wuchs. Beispielsweise sammelte ein Cursor-Agent Warteschlangenstatistiken aus allen Regionen, einschließlich der Geschwindigkeit, mit der sich die einzelnen Warteschlangen leerten, und veröffentlichte diese alle 15 Minuten im Slack-Kanal für den Vorfall, wodurch die Einsatzzentrale einen einheitlichen Überblick über den Abfluss erhielt. Eine dieser Aktualisierungen, die den Zeitraum von 14:46 bis 14:58 UTC abdeckte
Was Probleme bereitete und was wir ändern würden
Ich würde gerne sagen, dass alles perfekt lief, aber das tat es nicht (und Sie würden mir ohnehin nicht glauben, selbst wenn ich es behauptete). Unsere E-Mail-Verarbeitungssysteme liefen ohne Eingriffe: Jede E-Mail, die während des Vorfalls zugestellt werden konnte, wurde zugestellt, und die Warteschlangen leerten sich, sobald Microsoft wieder online war. Allerdings traten bei unserem Endbenutzerportal für einen gewissen Zeitraum zeitweise Probleme auf. Da ihre Microsoft 365-Postfächer nicht verfügbar waren, nutzten die Benutzer Mimecast, um auf ihre E-Mails zuzugreifen. Die Anzahl der Postfachaufrufe stieg um das 35-Fache an, was das Endbenutzerportal stark belastete. Die Techniker passten die Laufzeit der Dienste an und stellten nicht kritische Dienste ein, um die benötigte Kapazität freizugeben.
Die vordere Ebene
Alles fällt aus. Das haben wir vor Jahren als Designprinzip festgehalten, und am 12. November war es kein Prinzip mehr, sondern wurde zu einem Donnerstagnachmittag.
Meistens ist diese Ebene unsichtbar. E-Mails kommen an, werden geprüft und weitergeleitet, und niemand denkt über die Warteschlange dazwischen nach. Ihr Wert zeigt sich erst an dem Tag, an dem das Zielpostfach ausfällt. Die Aufgabe ist einfach zu beschreiben, aber schwer umzusetzen: die Verantwortung für jede Nachricht übernehmen, einen Ausfall in eine Verzögerung statt in einen Verlust verwandeln, den Nutzern die Möglichkeit geben, weiterzuarbeiten, und die E-Mails in einem Tempo zurückgeben, das das Postfach bewältigen kann, sobald es wieder verfügbar ist.
Im Jahr 2011 sagten uns unsere Kunden, dass E-Mails immer fließen müssen. Die Speicherung von fast 100 Millionen Nachrichten an einem einzigen Tag stellte auf die Probe, ob wir zugehört hatten. Der E-Mail-Fluss blieb ohne Eingriffe aufrechterhalten. Das Portal ächzte unter der 35-fachen Belastung gegenüber dem Normalbedarf, und das zeigt uns, wo unsere nächste Aufgabe liegt.
All dies war nicht allein der Software zu verdanken. Vielen Dank an die Mitarbeiter in unserer Leitstelle, die die Diagramme rund um die Uhr im Blick behielten und die Disziplin aufbrachten, das System seine Arbeit tun zu lassen. Und vielen Dank an die Ingenieure bei Microsoft, die dieselbe Zeit damit verbrachten, einen Dienst wiederherzustellen, auf den Millionen von Menschen angewiesen sind.
Jede Abhängigkeit versagt irgendwann einmal. Man muss für den Tag planen, an dem dies geschieht.
Verwandte Tags
- Email & Collaboration Security