Mimecast Threat Intelligence : Comment ChatGPT a bouleversé la messagerie électronique

MISE À JOUR : Ce blog a été initialement publié le 30 septembre 2024 pour faire suite au Global Threat Intelligence Report 2024 H1 de Mimecast. Nous avons depuis mis à jour les données présentées ici, car nous continuons à surveiller de près l'utilisation d'outils d'IA générative tels que ChatGPT par les cybercriminels dans leurs efforts pour créer des courriels de phishing et d'autres contenus malveillants plus crédibles. Soyez assurés que nous continuerons à surveiller cette méthode d'attaque et que nous vous communiquerons à nouveau les résultats mis à jour le cas échéant.

Dans la plupart des médias consacrés à la cybersécurité, les références à l'IA générative augmentent non seulement de manière exponentielle, mais les publications citent son utilisation par des acteurs malveillants, ce qui a un fort potentiel d'impact négatif sur toute organisation ciblée.

Lors des entretiens avec les chercheurs en menaces de Mimecast pour notre Global Threat Intelligence Report 2024 H1, des questions ont été posées sur l'omniprésence de l'IA dans les e-mails de phishing - mais aucune mesure n'a pu être quantifiée. Des questions sont restées sans réponse : quelle est la prévalence de ce phénomène et peut-on le mesurer ? Notre équipe de science des données a relevé le défi en créant un moteur de détection pour déterminer si un message est généré par l'homme ou par l'IA, sur la base d'un mélange d'e-mails actuels et historiques, et d'e-mails synthétiques générés par l'IA. 

La recherche a indiqué un moment où nous avons commencé à observer une tendance à la hausse des courriels générés par l'IA, en corrélation avec la sortie de ChatGPT. Nous avons également observé des courriels malveillants de type BEC, fraude et phishing générés par l'IA. Il en résulte que les analystes/équipes de sécurité et les utilisateurs finaux ont besoin de comprendre les indicateurs du contenu généré par l'IA qui pourraient les aider à repérer ces attaques. 

Signes révélateurs des courriels générés par l'IA 

ChatGPT a rendu la rédaction de courriels assistée par l'IA accessible à tous, même aux acteurs malveillants, mais ce n'est pas le seul ensemble d'outils à leur disposition. Dans un précédent article de blog, nous avons présenté certains des outils d'IA générative qu'ils utilisent. Auparavant, ces outils étaient principalement destinés aux entreprises. Désormais, tout le monde peut utiliser l'IA pour rédiger des courriels bien conçus et adaptés à différentes situations. À mesure que le contenu généré par l'IA se répand, il devient de plus en plus difficile de distinguer un texte écrit par un être humain d'un texte généré par une machine. L'une des caractéristiques les plus remarquables des modèles linguistiques d'IA est l'utilisation de mots et de structures de phrases complexes, ce qui peut révéler leur implication dans l'écriture. Des chercheurs de l'université de Cornell ont découvert que les modèles de langage de l'IA favorisent certains mots dans les écrits scientifiques. En analysant 14 millions d'articles entre 2010 et 2024, ils ont constaté une forte augmentation des "mots de style" spécifiques après la fin de l'année 2022, lorsque les outils d'intelligence artificielle sont devenus largement disponibles. Par exemple, le mot "delves" apparaît 25 fois plus souvent en 2024 qu'auparavant. Parmi les autres mots préférés de l'IA, citons "mettre en valeur", "souligner" et "crucial"".

Comment nous savons que ChatGPT a changé d'adresse électronique 

L'équipe de science des données de Mimecast a commencé avec l'intention de former un modèle sur les différences entre les courriels rédigés par l'homme et ceux rédigés par l'IA. Au total, plus de 20 000 courriels ont été utilisés à partir des données de Mimecast couplées aux données synthétiques générées par LLM - OpenAI's GPT4o, Anthropic's Claude 3.5 Sonnet, Cohere's Command R+, AI21's Jamba Instruct and Meta's Llama3 -. Le modèle d'apprentissage profond créé a déterminé les caractéristiques qui font que chaque point de données lié à la langue utilisée est écrit par un humain ou par une IA. Pour les tests, nous avons utilisé quatre ensembles de données afin de nous assurer que notre modèle ne s'adapte pas trop à notre ensemble d'apprentissage, mais qu'il peut bien se généraliser : 

• 10 000 échantillons d'e-mails rédigés par des humains, provenant de Mimecast 
• 7 000 données synthétiques générées par le LLM  
• Ensemble de données humaines et LLM de Kaggle(lien)
• Jeu de données sur les fraudes de Kaggle(lien). Tous les courriers électroniques sont supposés être rédigés par des personnes, car ils ont été collectés avant l'apparition des LLM. 

Une fois l'entraînement terminé, notre modèle s'est vu présenter un courriel après l'autre et il lui a été demandé de déterminer si l'exemple avait été écrit par un humain ou par une IA. Nous avons répété cet exercice 200 000 fois sur différentes séries d'e-mails. Nous avons pu l'utiliser pour analyser un sous-ensemble d'e-mails et prédire s'ils avaient été rédigés par un humain ou par une IA. Les résultats de cet exercice sont présentés dans la figure 1, qui met également en évidence l'augmentation du nombre de courriels rédigés par l'IA. Il est important de noter que le modèle ne cherchait pas à identifier les courriels malveillants rédigés par l'IA, mais plutôt à estimer l'omniprésence de l'IA. Avant d'entreprendre cette étude, nous savions que des messages écrits par l'IA étaient vus, mais nous n'en connaissions pas l'ampleur. 

Figure 1 - Emails bénins et malveillants rédigés par des humains ou des IA par mois 

Nous avons échantillonné 2 000 courriels par mois de janvier 2022 à mars 2025. Ces statistiques montrent que jusqu'à 10 sites% ont été rédigés par l'IA en un single mois pour l'ensemble de données, comme le montre la figure 2. Mais surtout, le graphique montre non seulement une augmentation marquée de l'utilisation de l'IA pour rédiger des courriels, mais aussi une réduction de l'écriture humaine, ce qui continue de correspondre à ce que l'on observe dans les publications. On ne sait pas encore si cela est dû aux personnes qui ne parlent pas l'anglais ou à l'utilisation de l'IA pour aider à la rédaction afin d'essayer de l'améliorer. 

Figure 2 - Pourcentage d'e-mails rédigés par des humains ou des IA par mois

Nous avons ensuite utilisé les données soumises par l\'utilisateur final et identifiées comme malveillantes pourcalculer la fréquence des mots dans le sujet du nom classé par fréquence. Comme vous pouvez le voir dans la figure 3, il existe de nombreux points communs concernant les impôts, les banques et d\'autres sujets liés au phishing. Cela montre également que les thèmes annuels sont les plus répandus.

Figure 3 - Principaux sujets abordés dans les courriels rédigés par MML

Nous avons ensuite analysé les caractéristiques distinctives des courriels malveillants générés par le LLM et identifié les 30 mots les plus courants, comme le montre la figure 4. La présence fréquente de salutations formelles telles que "J' espère que ce message vous conviendra," et d'une phrase de clôture répétitive "Merci pour votre temps" nous permet de valider davantage l'utilisation des LLM sur la base de nos conclusions précédentes.

Figure 4 - Mots les plus fréquents dans les courriels rédigés dans le cadre du programme LLM

Exemples d'e-mails générés par l'IA 

Au cours de l'examen des candidatures, quelques exemples malveillants contenant un langage distinctif ont été trouvés. 

Exemple n° 1 de message spam Gen AI

Indicateurs :  

• "se plonge dans les méandres de", "navigue dans les méandres de" 
• Utilisation excessive de puces

Exemple n° 2 de message BEC Gen AI 

Indicateurs :  

• J'espère que ce message vous trouvera en bonne santé  
• Répétition des mots « gift cards » et « surprise »

Exemple n° 3 de message BEC Gen AI 

Indicateurs :  

• Bonjour ! 

Exemple n° 4 de message de phishing Gen AI

Indicateurs : 

• "approfondir la question". 
• "trébuché" ou "tombé sur". 
• Le "-" long est utilisé dans le ChatGPT 

Recommandations 

Ces résultats indiquent que les enquêtes manuelles sur le phishing doivent rester une couche cruciale de défense, en particulier lorsqu'elles sont signalées par les utilisateurs finaux. Il est essentiel que les chercheurs en menaces examinent minutieusement le langage pour trouver des marqueurs spécifiques qui correspondent à nos conclusions ; en croisant des indicateurs tels que "approfondir" ou "bonjour !", en particulier chez les utilisateurs finaux qui n'utilisent généralement pas ce type de langage avec des modèles de menaces connus, vous pouvez identifier les menaces de phishing plus efficacement, en réduisant le temps de remédiation et en atténuant le risque organisationnel.  

Comme toujours, les équipes de sécurité doivent veiller à ce que leurs indicateurs évoluent en même temps que les grands modèles linguistiques et les nouveaux ensembles de données. 

Pour en savoir plus sur les dernières découvertes de Mimecast en matière de recherche sur les menaces, n'oubliez pas de lire notre rapport Global Threat Intelligence Report 2024 H2 et de visiter notre Threat Intelligence Hub.

**Ce blog a été initialement publié le 30 septembre 2024.