Mimecast Threat Intelligence: Come ChatGPT ha stravolto le e-mail

AGGIORNAMENTO: Questo blog è stato originariamente pubblicato il 30 settembre 2024 come follow-up del Global Threat Intelligence Report 2024 H1 di Mimecast. Da allora abbiamo aggiornato i dati qui riportati, poiché abbiamo continuato a monitorare da vicino l'uso di strumenti di AI generativa come ChatGPT da parte dei criminali informatici nel loro tentativo di creare e-mail di phishing e altri contenuti dannosi più credibili. Si assicuri che continueremo a monitorare questo metodo di attacco e a riportare i risultati aggiornati quando saranno rilevanti.

Nella maggior parte dei media di cybersecurity, i riferimenti all'IA generativa non solo stanno aumentando in modo esponenziale, ma le pubblicazioni citano il suo utilizzo da parte di attori malintenzionati, che ha il forte potenziale di avere un impatto negativo su qualsiasi organizzazione presa di mira.

Intervistando i ricercatori sulle minacce di Mimecast per il nostro Global Threat Intelligence Report 2024 H1, sono state poste domande sulla pervasività dell'AI nelle e-mail di phishing - ma non è stato possibile quantificare le metriche. Questo ha lasciato domande senza risposta, tra cui: quanto è diffuso questo fenomeno e può essere misurato? Il nostro team di scienza dei dati ha accettato la sfida di aiutare, costruendo un motore di rilevamento per determinare se un messaggio è generato da un essere umano o dall'AI, sulla base di una miscela di e-mail attuali e storiche, e di e-mail sintetiche generate dall'AI. 

La ricerca ha indicato un momento in cui abbiamo iniziato a osservare una tendenza all'aumento delle e-mail generate dall'AI, in correlazione con il rilascio di ChatGPT. Abbiamo anche osservato email maligne generate dall'AI di BEC, frode e phishing. L'effetto netto di ciò è stata la necessità di comprendere, da parte dei team di analisti/sicurezza e degli utenti finali, gli indicatori dei contenuti generati dall'IA che potrebbero aiutarli a individuare questi attacchi. 

Segni rivelatori delle e-mail generate dall'AI 

ChatGPT ha reso la scrittura di e-mail assistita dall'AI accessibile a tutti, anche agli attori malintenzionati, ma questa non è l'unica serie di strumenti a loro disposizione. In un precedente post sul blog abbiamo illustrato alcuni degli strumenti di AI generativa che utilizzano. In precedenza, questi strumenti erano destinati principalmente alle aziende. Ora chiunque può utilizzare l'intelligenza artificiale per scrivere e-mail ben confezionate e adatte a varie situazioni. Con la diffusione dei contenuti generati dall'AI, la capacità di discernere tra testo scritto dall'uomo e testo generato dalla macchina è diventata sempre più difficile. Una delle caratteristiche più notevoli dei modelli linguistici dell'AI è l'uso di parole e strutture di frasi complesse, che possono rivelare il loro coinvolgimento nella scrittura. I ricercatori della Cornell University hanno scoperto che i modelli linguistici dell'AI favoriscono alcune parole negli scritti scientifici. "Analizzando 14 milioni di articoli dal 2010 al 2024, hanno notato un forte aumento di 'parole di stile' specifiche dopo la fine del 2022, quando gli strumenti di AI sono diventati ampiamente disponibili. Ad esempio, 'delves' è apparso 25 volte più spesso nel 2024 rispetto a prima. Tra le altre parole preferite dall'AI, ci sono 'mettere in mostra', 'sottolineare' e 'cruciale'".

Come sappiamo che ChatGPT ha cambiato l'e-mail 

Il team di data science di Mimecast ha iniziato con l'intenzione di addestrare un modello sulle differenze tra le e-mail scritte da umani e quelle scritte dall'AI. In totale, sono state utilizzate oltre 20.000 e-mail dai dati di Mimecast abbinati ai dati sintetici generati da LLM - GPT4o di OpenAI, Claude 3.5 Sonnet di Anthropic, Command R+ di Cohere, Jamba Instruct di AI21 e Llama3 di Meta. Il modello di apprendimento profondo creato ha determinato quali caratteristiche fanno sì che ogni punto di dati relativo alla lingua utilizzata sia scritto da un essere umano o da un'intelligenza artificiale. Per i test, per assicurarci che il nostro modello non si adattasse eccessivamente al nostro set di formazione, ma fosse in grado di generalizzare bene, abbiamo utilizzato quattro set di dati: 

• 10.000 campioni di email scritte da esseri umani da Mimecast 
• 7.000 dati sintetici generati da LLM  
• Set di dati umani e LLM da Kaggle(link)
• Set di dati sulle frodi da Kaggle(link). Si presume che tutte le e-mail siano state scritte da un uomo, poiché sono state raccolte prima dell'avvento dei LLM. 

Una volta completato l'addestramento, al nostro modello è stata mostrata un'e-mail dopo l'altra e gli è stato chiesto di determinare se quell'esempio era stato scritto da un essere umano o dall'IA. Abbiamo ripetuto questo esercizio 200.000 volte su diversi set di e-mail. Siamo stati in grado di utilizzarlo per analizzare un sottoinsieme di e-mail per prevedere se è stato scritto da un essere umano o dall'IA. I risultati di questo esercizio sono riportati nella Figura 1, che evidenzia anche l'aumento delle e-mail scritte dall'AI. È importante notare che il modello non cercava di identificare le e-mail maligne scritte dall'AI, ma piuttosto di stimare la pervasività dell'AI. Prima di intraprendere questo studio, si sapeva che i messaggi scritti dall'AI venivano visti, ma non si conosceva l'entità. 

Figura 1 - Email benigne e maligne scritte dall'uomo e dall'IA al mese 

Abbiamo campionato 2.000 e-mail al mese da gennaio 2022 a marzo 2025. Queste statistiche mostrano che fino a 10% sono stati scritti dall'AI in un single mese per il set di dati, come illustrato nella Figura 2. Ma, cosa importante, il grafico a linee mostra non solo un marcato aumento dell'uso dell'AI per scrivere le e-mail, ma anche la riduzione della scrittura umana, che continua a corrispondere a ciò che si vede nelle pubblicazioni. Al momento non si sa se questo sia attribuito a chi non parla inglese o all'uso dell'IA come ausilio alla scrittura per cercare di migliorarla. 

Figura 2 - Percentuale di e-mail scritte dall'uomo rispetto all'intelligenza artificiale al mese

Abbiamo poi utilizzato i dati inviati dagli utenti finali identificati come malevoli percalcolare la frequenza delle parole nell'argomento del nome, classificate per frequenza. Come si può vedere nella Figura 3, ci sono molti punti in comune relativi a tasse, banche e altri argomenti di phishing. Questo mostra anche come i temi annuali siano più pervasivi di qualsiasi altra cosa.

Figura 3 - Argomenti principali nelle e-mail scritte da MML

Abbiamo poi analizzato le caratteristiche distintive delle e-mail maligne generate da LLM e abbiamo identificato le 30 parole più comuni, come si vede nella Figura 4. La presenza frequente di saluti formali come "Spero che questo messaggio la trovi bene," e la frase di chiusura ripetitiva "Grazie per il suo tempo" ci permette di convalidare ulteriormente l'uso degli LLM sulla base dei nostri risultati precedenti.

Figura 4 - Parole principali nelle e-mail scritte da LLM

Esempi di e-mail generate dall'AI 

Durante il processo di revisione delle candidature, sono stati trovati alcuni esempi dannosi contenenti un linguaggio distintivo. 

Esempio #1 di messaggio di spam Gen AI

Indicatori:  

• "si addentra nelle complessità di", "navigando tra le complessità di" 
• Uso eccessivo di elenchi puntati

Esempio #2 di messaggio BEC Gen AI 

Indicatori:  

• Spero che questo messaggio la trovi bene'.  
• Ripetizione delle parole "gift cards" e "surprise"

Esempio #3 di messaggio BEC Gen AI 

Indicatori:  

• Ciao! 

Esempio #4 di messaggio di phishing Gen AI

Indicatori: 

• 'approfondisci questo aspetto' 
• 'inciampato' o 'incappato'. 
• Il lungo '-' è utilizzato in ChatGPT 

Raccomandazioni 

Questi risultati indicano che le indagini manuali sul phishing devono rimanere un livello cruciale di difesa, soprattutto se segnalate dagli utenti finali. È fondamentale che i ricercatori di minacce esaminino il linguaggio alla ricerca di marcatori specifici che si allineino con le nostre scoperte; incrociando indicatori come "approfondisci questo" o "ciao!", in particolare tra gli utenti finali che comunemente non usano questo linguaggio con i modelli di minaccia noti, è possibile identificare le minacce di phishing in modo più efficace, riducendo i tempi di bonifica e attenuando il rischio organizzativo.  

Come sempre, i team di sicurezza devono assicurarsi che i loro indicatori si evolvano insieme ai grandi modelli linguistici e ai nuovi set di dati. 

Per saperne di più sulle più recenti scoperte della ricerca sulle minacce di Mimecast, si assicuri di leggere il nostro Global Threat Intelligence Report 2024 H2 e di visitare il nostro Threat Intelligence Hub.

**Questo blog è stato pubblicato originariamente il 30 settembre 2024.