Messages générés par l'IA
Les acteurs malveillants exploitent de plus en plus les technologies d'IA générative pour concevoir des e-mails de phishing. Ces attaques générées par l'IA sont plus difficiles à détecter en raison de l'amélioration de la fluidité linguistique et de la capacité à imiter le ton. Lors d'un entretien avec des chercheurs sur les menaces de Mimecast pour notre récent rapport Threat Intelligence, des questions ont été posées sur l'omniprésence de l'IA dans les e-mails de phishing, mais aucun indicateur n'a pu être quantifié. Notre équipe de science des données a relevé le défi d'aider, en construisant un moteur de détection pour déterminer si un message est généré par un humain ou par l'IA, basé sur un mélange d'e-mails actuels, historiques et d'e-mails synthétiques générés par l'IA.
La recherche indique un moment où Mimecast commence à observer une tendance croissante des e-mails générés par l'IA, en corrélation avec la sortie de ChatGPT. En outre, nous avons également observé des e-mails malveillants de type BEC, de fraude et de phishing générés par l'IA. Il est conseillé aux analystes de rester vigilants, car ces attaques devraient augmenter en volume et en complexité.
Vous trouverez tous les détails de nos conclusions dans cet article de blog.
Signes révélateurs de la présence d'e-mails générés par l'IA
L'une des caractéristiques les plus remarquables des modèles linguistiques d'IA est l'utilisation de mots et de structures de phrases complexes. Les chercheurs ont découvert que les modèles de langage basés sur l'IA privilégient certains termes dans la rédaction scientifique. « En analysant 14 millions d'articles publiés entre 2010 et 2024, ils ont remarqué une forte augmentation du nombre de « mots de style » spécifiques après fin 2022, lorsque les outils d'IA sont devenus largement disponibles. Par exemple, le terme « delves » est apparu 25 fois plus souvent en 2024 qu'auparavant.
L’équipe de science des données de Mimecast a commencé avec l’intention de former un modèle sur les différences entre les e-mails écrits par l’homme et l’IA. Au total, plus de 20 000 e-mails ont été utilisés à partir des données de Mimecast, couplées à des données synthétiques générées par LLM. Nous avons ensuite échantillonné 1000 e-mails par mois de janvier 2022 à juin 2024 pour identifier combien étaient rédigés par l'intelligence artificielle. Ces statistiques indiquent que sur les 30 000 e-mails analysés, 2 330 ont été rédigés par une IA, ce qui représente 7,8 % de l'ensemble des e-mails de l'ensemble de données. Les résultats de cet exercice peuvent être consultés dans la figure 1, qui met également en lumière l'augmentation des e-mails rédigés par l'IA.
Objectifs
Monde
Exemples d'e-mails générés par l'IA
Au cours du processus d’analyse, plusieurs exemples malveillants ont été trouvés contenant un langage distinctif indiquant des outils d’IA.
Exemple 1 - Message de spam généré par l'IA
Indicateurs :
- « delves into the intricacies of » (explore les subtilités de), « navigating through the complexities of » (parcourt les complexités de)
- Utilisation excessive de puces
Exemple 2 - Message BEC généré par l'IA
Indicateurs :
- « J'espère que vous allez bien »
- Répétition des mots « gift cards » et « surprise »
Exemple 3 - Message BEC généré par l'IA
![]()
Indicateurs :
Exemple 4 - Message de phishing généré par l'intelligence artificielle
Indicateurs :
- « delve deeper into this » (approfondir)
- « stumbled » (trébuché) ou « stumbled upon » (découvert par hasard)
- Trait d'union long utilisé sur ChatGPT
Recommandations
Ces résultats indiquent que les enquêtes manuelles sur le phishing restent une couche de défense cruciale, en particulier lorsqu’elles sont signalées par les utilisateurs finaux. Il est essentiel que les chercheurs en menaces examinent le langage à la recherche de marqueurs spécifiques qui correspondent à nos conclusions. En recoupant des indicateurs tels que « approfondissez ceci » ou « bonjour ! », en particulier parmi les utilisateurs qui n'utilisent généralement pas ce langage. Avec des modèles de menaces connus, vous pouvez identifier les menaces de phishing plus efficacement, réduisant le temps de remédiation et atténuant les risques pour l'organisation.
Il convient de noter que les équipes de sécurité doivent s’assurer que leurs indicateurs utilisés dans le cadre de leurs enquêtes évoluent parallèlement aux grands modèles linguistiques qui sont en constante évolution.
