Messaggi generati dall'IA
Gli attori delle minacce stanno sfruttando sempre più le tecnologie di intelligenza artificiale generativa per creare email di phishing. Questi attacchi generati dall'IA sono più difficili da identificare a causa della maggiore fluidità del linguaggio e dell'imitazione del tono. Intervistando i ricercatori di minacce di Mimecast per il nostro recente rapporto di intelligence sulle minacce, abbiamo chiesto della pervasività dell'IA nelle email di phishing, ma non è stato possibile quantificare il problema. Il nostro team di data science ha voluto aiutare, sviluppando un motore di rilevamento per determinare se un messaggio è generato da un umano o da un intelligenza artificiale, basandosi su una combinazione di email attuali, storiche e sintetiche generate dall'intelligenza artificiale.
La ricerca indica il momento in cui Mimecast inizia a osservare una tendenza crescente nelle email generate dall'intelligenza artificiale in correlazione con il rilascio di ChatGPT. Inoltre, abbiamo anche osservato email dannose generate dall'intelligenza artificiale per BEC, frodi e phishing. Si consiglia agli analisti di rimanere vigili, poiché si prevede che questi attacchi aumenteranno sia in volume che in complessità.
I dettagli completi delle nostre scoperte possono essere esplorati ulteriormente in questo post del blog.
Segnali distintivi delle email generate dall'intelligenza artificiale
Una delle caratteristiche più notevoli dei modelli linguistici di intelligenza artificiale è l'uso di parole e frasi complesse. I ricercatori hanno scoperto che i modelli di linguaggio dell'intelligenza artificiale favoriscono certe parole nella scrittura scientifica. Analizzando 14 milioni di articoli dal 2010 al 2024, hanno notato un forte aumento di specifiche "parole di stile" dopo la fine del 2022, quando gli strumenti di intelligenza artificiale sono diventati ampiamente disponibili. Ad esempio, nel 2024 il termine 'delves' è apparso 25 volte più frequentemente rispetto a prima.
Il team di data science di Mimecast ha iniziato ad addestrare un modello per distinguere le differenze tra le email scritte da esseri umani e quelle scritte dall'intelligenza artificiale. In totale, sono state utilizzate oltre 20.000 email dai dati di Mimecast, combinati con dati sintetici generati da un modello linguistico di grandi dimensioni. Abbiamo quindi campionato 1000 email al mese da gennaio 2022 a giugno 2024 per identificare quante fossero state scritte con l'intelligenza artificiale. Queste statistiche indicano che su 30.000 email analizzate, è stato rilevato che 2.330 erano scritte da intelligenza artificiale, rappresentando il 7,8% di tutte le email nel dataset. I risultati di questo esercizio si trovano nella figura 1, che mette in evidenza anche l'aumento delle email scritte dall'intelligenza artificiale.
Obiettivi
Globale
Esempi di email generate dall'IA
Durante il processo di analisi sono stati trovati diversi esempi dannosi contenenti un linguaggio distintivo che indica l'uso di strumenti di intelligenza artificiale.
Esempio 1 - Messaggio di spam generato dall'IA
Indicatori:
- "delves into the intricacies of", "navigating through the complexities of"
- Uso eccessivo di elenchi puntati
Esempio 2 - Messaggio BEC generato dall'IA
Indicatori:
- "I hope this message finds you well"
- Ripetizione delle parole "gift cards" e "surprise"
Esempio 3 - Messaggio BEC generato dall'IA
![]()
Indicatori:
Esempio 4 - Messaggio di phishing generato dall'IA
Indicatori:
- ‘approfondisca ulteriormente questo’
- "stumbled" o "stumbled upon".
- Il trattino lungo '-' è utilizzato molto da ChatGPT.
Raccomandazioni
Questi risultati indicano che le indagini manuali sul phishing restano un livello di difesa essenziale, in particolare quando vengono segnalate dagli utenti finali. È fondamentale che i ricercatori di minacce esaminino attentamente il linguaggio per individuare indicatori specifici in linea con le nostre scoperte; confrontando indicatori come “delve deeper into this” o “hello!”, specialmente tra gli utenti che solitamente non usano tale linguaggio. Con modelli di minaccia noti, è possibile identificare le minacce di phishing in modo più efficace, riducendo i tempi di correzione e mitigando i rischi per l'organizzazione.
È importante notare che i team di sicurezza devono garantire che gli indicatori utilizzati nelle loro indagini si evolvano insieme ai modelli linguistici di grandi dimensioni, che sono in continua evoluzione.
