- Quando Microsoft 365 ha subito un’interruzione il 12 novembre, Mimecast ha continuato ad accettare le e-mail per i propri clienti e ha conservato in modo sicuro quasi 100 milioni di messaggi fino al ripristino delle loro caselle di posta, garantendo così che nessuna e-mail andasse persa.
- Grazie a regioni isolate, copie intercambiabili di ogni servizio e alla distribuzione della posta in diverse sedi, il flusso di messaggi verso la nostra piattaforma è rimasto attivo per 18 ore, senza alcun intervento manuale.
- I clienti che hanno utilizzato la funzionalità di continuità hanno continuato a leggere e inviare e-mail tramite Mimecast. La domanda sul portale utenti è aumentata di 35 volte, mettendo a dura prova il sistema e indicandoci dove intervenire per migliorare in futuro.
Progettare in vista del giorno in cui la cassetta postale scomparirà
Quando Microsoft 365 ha smesso di funzionare il 12 novembre, le e-mail hanno continuato ad arrivare. Ecco una descrizione tecnica di come la nostra piattaforma ha gestito la situazione
Di Paul Sowden
Punti chiave
I primi 15 minuti
Alle 17:50 UTC (12:50 ET) di giovedì 12 novembre, i nostri avvisi di mancata consegna hanno iniziato a scattare e le code di e-mail in attesa di consegna hanno cominciato ad aumentare. La posta in arrivo ha subito un rallentamento, ma ha continuato ad arrivare. In altre parole, non potevamo più inoltrare la posta a Microsoft, ma il resto del mondo continuava a inviarcela.
Il divario tra la posta in arrivo e quella in uscita è il nocciolo della questione. Quando l’estremità opposta di una pipeline di posta elettronica scompare, i mittenti non smettono di inviare. La rubrica di Internet (DNS) continua a indirizzarli verso di noi, e i nostri gateway (i server che ricevono le e-mail per conto dei nostri clienti) continuano ad accettarle. La domanda è: cosa fare con la posta di cui ci siamo assunti la responsabilità ma che non possiamo inoltrare?
La nostra prima domanda è stata quella che ogni ingegnere di turno si pone: il problema è da noi? La consegna verso destinazioni non Microsoft procedeva regolarmente, il che ci ha fatto capire che il problema era a valle, non da noi. La prima conferma da parte di Microsoft su X alle 17:54 UTC (12:54 ET) lo ha confermato. Quello che segue è il punto di vista dal lato del mittente: la nostra piattaforma, che trattiene la posta e cerca di consegnarla.
Le code hanno iniziato a crescere pochi minuti dopo l’inizio del problema in tutte e nove le nostre regioni, indicando che si trattava di un evento globale.
Cosa fanno SMTP e la posta elettronica quando la destinazione scompare
L’e-mail è stata progettata per reti inaffidabili, quindi il mancato recapito è uno stato normale, non un’eccezione. Quattro proprietà dello SMTP (Simple Mail Transfer Protocol, le regole condivise seguite da ogni server di posta) determinano cosa succede dopo.
- L’MX decide con chi comunica il mittente. Un server di invio cerca il record MX (Mail Exchange) del dominio del destinatario, che indica dove devono essere indirizzate le e-mail di quel dominio. Per i nostri clienti, tale record punta a noi, non al provider di caselle di posta, come Microsoft. La comunicazione del mittente avviene con il nostro gateway.
- Un codice 250 trasferisce la responsabilità. Quando il nostro gateway risponde con 250 OK (il codice standard per “messaggio ricevuto”), il messaggio diventa di nostra competenza. Il mittente lo considera consegnato e non se ne preoccupa più.
- Un codice 4xx significa “riprovare più tardi”; un 5xx significa “rinunciare”. Quando inoltriamo la posta e riceviamo un errore temporaneo 4xx, un timeout o una connessione rifiutata, conserviamo il messaggio e riproviamo. Lo standard di posta elettronica (RFC 5321) prevede che i mittenti continuino a riprovare per giorni, non per minuti.
- Il modello di progettazione è store-and-forward. Ogni hop (ogni server lungo il percorso) può trattenere un messaggio fino a quando l’hop successivo non è pronto.
Consideriamo ora l’alternativa. Se l’MX puntasse direttamente al provider della casella di posta, ogni mittente su Internet metterebbe in coda la propria copia di ogni messaggio. Ciò comporterebbe migliaia di code indipendenti, ciascuna con la propria tempistica di riprova, alcune delle quali si arrenderebbero prematuramente. Il destinatario non vedrebbe nulla e non potrebbe leggere nulla finché la casella di posta non tornasse operativa.
Un gateway nel percorso MX trasforma tutto ciò in un’unica coda, con un’unica politica di riprova, che possiamo monitorare e che gli utenti possono comunque consultare grazie alla continuità (il nostro servizio che consente alle persone di continuare a leggere e inviare e-mail mentre la loro casella di posta principale è inattiva). Questa è la scommessa architettonica di cui tratta questo post.
Mimecast Apex: scalabilità e resilienza
Sono entrato in Mimecast agli albori dell’azienda e la filosofia di progettazione di base è rimasta costante nel corso degli anni: tutto può fallire. Ciò vale per i nostri servizi e la nostra infrastruttura, così come per i servizi e le infrastrutture a cui ci colleghiamo, come Microsoft 365.
Un principio ben noto nell’informatica, il teorema CAP, afferma che quando un sistema conserva i propri dati su molti computer e la rete che li collega si interrompe, deve scegliere: dare sempre la risposta giusta, oppure dare sempre una risposta. Prima o poi le reti si interrompono sempre, quindi la vera domanda è a cosa si rinuncia mentre sono fuori uso: aspettare di essere sicuri, oppure rispondere immediatamente e accettare che i dati possano essere temporaneamente non aggiornati.
Nei primi anni di Mimecast, il nostro approccio privilegiava la coerenza (la risposta corretta) rispetto alla disponibilità (una risposta in ogni caso). Nel 2011, in seguito a un incidente di rete che ha interessato la nostra regione nel Regno Unito, abbiamo ricevuto un messaggio forte e chiaro dai nostri clienti: la posta elettronica deve sempre circolare. Il nostro approccio si è quindi orientato a dare priorità alla disponibilità quando siamo costretti a fare quella scelta. Tale decisione si concretizza ora attraverso tre principi fondamentali:
Isolamento regionale
Gestiamo nove regioni distinte. Ciò garantisce ai clienti la residenza dei dati (i loro dati rimangono nella parte del mondo da loro scelta) e ci offre un isolamento naturale: la piattaforma è progettata in modo tale che un guasto significativo in una regione non influisca sui clienti di un’altra.
Servizi stateless gestiti come una flotta
I servizi multi-tenant e stateless, come il Mimecast Apex™ Gateway, funzionano come una serie di copie intercambiabili, in modo che un problema che si verifica in una di esse venga assorbito dalle altre.
I carichi di lavoro con stato sono fortemente frammentati
Laddove un carico di lavoro deve conservare dati, suddividiamo sia i dati che il lavoro in molti piccoli frammenti, chiamati shard, in modo che un’interruzione di un singolo shard influisca solo su una piccola frazione della posta.
È proprio questa filosofia che ha permesso alla piattaforma Mimecast Apex™ di supportare i nostri clienti durante un evento globale.
Mimecast Apex™: architettura sotto carico prolungato
Per un'intera giornata, la piattaforma ha funzionato in una condizione per cui è stata progettata ma che si verifica raramente: continuava ad accettare posta, sebbene non ai ritmi normali, mentre non riusciva a consegnare quasi nulla a una gran parte delle destinazioni.
Il tasso di consegna è crollato in ogni regione entro un’ora dall’inizio dell’evento ed è rimasto vicino al minimo fino a circa mezzogiorno UTC del giorno successivo. Abbiamo osservato due tipi di calo: un crollo repentino in regioni come gli Stati Uniti e l’Australia, e un calo costante nell’arco di 18 ore in altre, come il Regno Unito.
Dove sono finite le e-mail
I messaggi accettati destinati a destinazioni irraggiungibili sono stati trasferiti su Termite, la nostra piattaforma dedicata alla messa in coda delle e-mail (immaginatela come un’area di stoccaggio sicura per la posta in attesa di essere consegnata). Trattandosi di un carico di lavoro “stateful”, Termite è fortemente frammentato e distribuito. È progettato sia per gestire i miliardi di email che elaboriamo ogni giorno, sia per conservarle per un periodo prolungato nel caso in cui la casella di posta venga a mancare. I messaggi vengono copiati in più sedi fisiche prima che venga restituito il codice 250 “ricevuto”. Nulla viene confermato al mittente finché non è stato archiviato in modo sicuro in più di un luogo.
Il nome è voluto. Proprio come una colonia di termiti, Termite opera come un insieme di unità indipendenti, ciascuna delle quali lavora per il bene comune.
In una tipica giornata lavorativa, Termite gestisce attivamente circa 8 milioni di e-mail a livello globale nei momenti di picco. Il 13 novembre abbiamo registrato un volume quasi 12 volte superiore, con picchi regionali che hanno raggiunto complessivamente quasi 100 milioni.
*US e USB indicano entrambi gli Stati Uniti d’America.
Continuità: la coda è la casella di posta
L’architettura alla base della continuità è meravigliosamente semplice, perché riutilizza ciò che è già presente.
Lettura. La posta a cui gli utenti non possono accedere è quella che si trova in Termite, in attesa che la loro casella di posta torni disponibile. Anziché copiarla altrove, mostriamo agli utenti quella stessa coda come casella di posta alternativa, tramite gli strumenti per l’utente finale di Mimecast quali il Personal Portal e Mimecast per Outlook. Non è necessario creare un secondo archivio, mantenerlo sincronizzato o effettuare il passaggio ad esso.
Invio. La posta in uscita passa già attraverso il Mimecast Apex Gateway, quindi gli utenti possono continuare a inviare messaggi tramite esso, indipendentemente dal fatto che la loro casella di posta principale funzioni o meno. Le risposte seguono lo stesso percorso di ogni altro messaggio.
Ripristino. Quando la casella di posta torna operativa, Termite consegna la posta trattenuta come di consueto e la posta in arrivo risulta completa, senza necessità di alcuna riconciliazione manuale.
Il fattore umano
Fin dal primo allarme abbiamo attivato una sala operativa attiva 24 ore su 24, con ogni servizio interessato sotto costante monitoraggio. Man mano che l’incidente si evolveva, l’intelligenza artificiale ha creato ulteriori monitor, così la nostra copertura è cresciuta di pari passo con il problema. Ad esempio, un agente Cursor ha raccolto le statistiche sulle code da ogni regione, compresa la velocità con cui ciascuna coda si svuotava, e le ha pubblicate sul canale Slack dedicato all’incidente ogni 15 minuti, fornendo alla sala operativa una visione coerente dello svuotamento delle code. Uno dei suoi aggiornamenti, relativo al periodo 14:46–14:58 UTC
Cosa ha messo a dura prova il sistema e cosa cambieremmo
Mi piacerebbe poter dire che tutto ha funzionato alla perfezione, ma non è stato così (e non mi credereste nemmeno se lo dicessi). I nostri sistemi di smistamento della posta hanno funzionato senza alcun intervento: ogni e-mail che poteva essere recapitata durante l’incidente è stata recapitata, e le code si sono svuotate non appena Microsoft è tornata online. Abbiamo tuttavia riscontrato problemi intermittenti con il nostro portale per gli utenti finali per un certo periodo. Con le loro caselle di posta Microsoft 365 non disponibili, gli utenti si sono rivolti a Mimecast per accedere alla propria posta. Le visualizzazioni delle caselle di posta sono aumentate di 35 volte, mettendo a dura prova il portale per gli utenti finali. I tecnici hanno ottimizzato i tempi di esecuzione dei servizi e interrotto quelli non critici per liberare la capacità necessaria.
Il livello frontale
Tutto fallisce. Lo abbiamo scritto come principio di progettazione anni fa, e il 12 novembre ha smesso di essere un principio per diventare un giovedì pomeriggio.
Il più delle volte, questo livello è invisibile. La posta arriva, viene controllata e inoltrata, e nessuno pensa alla coda che si forma nel mezzo. Il suo valore si rivela solo il giorno in cui la casella di posta di destinazione scompare. Il compito è semplice da descrivere ma difficile da realizzare: assumersi la responsabilità di ogni messaggio, trasformare un’interruzione in un ritardo anziché in una perdita, offrire alle persone un modo per continuare a lavorare e restituire la posta a un ritmo che la casella di posta possa gestire al suo ritorno.
Nel 2011, i nostri clienti ci hanno detto che la posta elettronica deve scorrere sempre. Trattenere quasi 100 milioni di messaggi in un solo giorno ha messo alla prova se avessimo ascoltato. Il flusso di posta è rimasto inalterato senza alcun intervento. Il portale ha faticato a reggere un carico pari a 35 volte la sua domanda abituale, e questo ci sta indicando dove si trova il nostro prossimo obiettivo di lavoro.
Nulla di tutto ciò è stato possibile solo grazie al software. Grazie alle persone nella nostra sala operativa, che hanno monitorato i grafici 24 ore su 24 e hanno avuto la disciplina di lasciare che il sistema facesse il suo lavoro. E grazie agli ingegneri di Microsoft, che hanno dedicato quelle stesse ore a ripristinare un servizio da cui dipendono milioni di persone.
Ogni dipendenza prima o poi fallisce. Progettate pensando al giorno in cui ciò accadrà.
Tag correlati
- Email & Collaboration Security