Menaces liées à l'IA générative

Les outils basés sur de grands modèles de langage, tels que ChatGPT, peuvent être utilisés pour générer des courriels de phishing convaincants, bien formulés et grammaticalement corrects à un volume élevé. Ils peuvent également être utilisés pour effectuer des recherches sur des cibles, qu'il s'agisse de personnes ou d'organisations.

Les attaques de type "Business email compromise" (BEC) impliquent souvent une conversation entre l'attaquant et la victime avant que l'attaquant n'atteigne ses objectifs (réception d'un virement, de données sensibles, etc.). En plus d'être utilisés pour rédiger le message initial, ces services peuvent également aider les attaquants à créer des réponses pertinentes et précises aux réponses de leurs victimes. 

ChatGPT Sauvegardes et Jailbreaking

ChatGPT a mis en place des mesures de protection et des restrictions pour tenter d'empêcher l'utilisation abusive et la création de contenu préjudiciable. Cependant, il existe plusieurs sites web et forums qui partagent des "jailbreaks" pour ChatGPT. Ces jailbreaks sont des invites spécifiques qui permettent de contourner les protections et font en sorte que ChatGPT suive n'importe quelle commande saisie par l'utilisateur. Il peut s'agir de la création de contenu révélant des informations sensibles ou malveillantes, comme la génération de codes malveillants et de courriels de phishing. 

Quatre variantes de ChatGPT utilisées par les pirates informatiques

Il n'est pas forcément nécessaire de jailbreaker ChatGPT pour que les cybercriminels abusent de cette technologie. Il existe aujourd'hui de nombreuses variantes en vente sur le dark web qui se comportent essentiellement comme une version non restreinte de l'outil et sont censées être affinées à des fins malveillantes. Ils coûtent généralement plusieurs centaines de dollars par an, des abonnements mensuels étant également disponibles :

• WormGPT est un outil de type ChatGPT basé sur le modèle de langage GPTJ qui aide les attaquants à créer des codes malveillants et des emails de phishing. WormGPT aurait été formé sur de grandes quantités de données, notamment des données liées à des malwares.
• XXXGPT est une autre variante qui s'accompagne d'une assistance experte. XXXGPT est conçu pour aider les attaquants à développer du code pour les botnets, les chevaux de Troie, les enregistreurs de clés, les voleurs d'informations et d'autres types de malware.
• WolfGPT est un outil construit en Python qui met l'accent sur la confidentialité. "Les domaines de spécialisation de WolfGPT comprennent la création de malware cryptographiques (utilisés pour l'extraction de crypto-monnaie) et les attaques de phishing avancées. " 
• FraudGPT peut créer des courriels de phishing sur le thème de la banque, où l'utilisateur n'a qu'à saisir le nom de la banque cible et insérer des liens de phishing dans les espaces réservés du contenu de sortie. Outre la génération d'e-mails, il peut également coder des pages de connexion conçues pour voler des informations d'identification. "Les créateurs affirment qu'il peut créer des codes malveillants, construire des malwares indétectables, trouver des vulnérabilités et identifier des cibles." Il est vendu sur le dark web et sur Telegram, et des mises à jour sont publiées toutes les quelques semaines.

Le bilan

Les organisations doivent être conscientes que des outils tels que ChatGPT feront partie de leur paysage de cybersécurité dans un avenir prévisible. Les employés utiliseront les outils, mais les attaquants aussi. Ces mauvais acteurs s'efforceront de devancer les mesures de protection qui pourraient les empêcher d'utiliser de grands modèles de langage pour créer des courriels de phishing et des pages web malveillantes perfectionnés qui ne contiendront plus les signes révélateurs de fautes d'orthographe et de mauvaise grammaire.