AI-generierte Nachrichten
Bedrohungsakteure setzen zunehmend generative KI-Technologien ein, um Phishing-E-Mails zu erstellen. Diese KI-generierten Angriffe sind aufgrund der verbesserten Sprachgewandtheit und der Nachahmung des Tons schwieriger zu erkennen. Bei der Befragung von Mimecast-Bedrohungsforschern für unseren jüngsten Threat Intelligence-Bericht wurden Fragen zur Verbreitung von künstlicher Intelligenz in Phishing-E-Mails gestellt - es konnten jedoch keine Zahlen genannt werden. Unser Data-Science-Team nahm die Herausforderung an, indem es eine Erkennungsmaschine entwickelte, die anhand einer Mischung aus aktuellen und historischen E-Mails sowie synthetischen, von KI generierten E-Mails feststellt, ob eine Nachricht von Menschen oder von KI generiert wurde.
Die Untersuchung zeigt einen Zeitpunkt, an dem Mimecast einen zunehmenden Trend bei KI-generierten E-Mails beobachtet, der mit der Veröffentlichung von ChatGPT korreliert. Darüber hinaus haben wir auch bösartige, von KI generierte BEC-, Betrugs- und Phishing-E-Mails beobachtet. Analysten wird geraten, wachsam zu bleiben, da erwartet wird, dass diese Angriffe sowohl an Umfang als auch an Komplexität zunehmen werden.
Die vollständigen Einzelheiten unserer Ergebnisse können in diesem Blog-Beitrag weiter erforscht werden.
Verräterische Anzeichen für KI-generierte E-Mails
Eines der bemerkenswertesten Merkmale von KI-Sprachmodellen ist die Verwendung von komplexen Wörtern und Satzstrukturen. Die Forscher fanden heraus, dass KI-Sprachmodelle bestimmte Wörter in wissenschaftlichen Texten bevorzugen. Bei der Analyse von 14 Millionen Artikeln aus den Jahren 2010 bis 2024 stellten sie eine starke Zunahme spezifischer "Stilwörter" nach Ende 2022 fest, als KI-Tools allgemein verfügbar wurden. Zum Beispiel taucht "delves" im Jahr 2024 25 Mal häufiger auf als zuvor.
Das Data-Science-Team von Mimecast begann mit der Absicht, ein Modell zu trainieren, das die Unterschiede zwischen von Menschen und KI geschriebenen E-Mails erkennt. Insgesamt wurden über 20.000 E-Mails aus den Daten von Mimecast zusammen mit den von LLM generierten synthetischen Daten verwendet. Anschließend haben wir von Januar 2022 bis Juni 2024 monatlich 1000 E-Mails untersucht, um festzustellen, wie viele davon mit AI geschrieben wurden. Diese Statistiken zeigen, dass von den 30.000 analysierten E-Mails 2.330 von KI geschrieben wurden, was 7,8 % aller E-Mails im Datensatz entspricht. Die Ergebnisse dieser Übung sind in Abbildung 1 zu sehen, die auch die Zunahme der von KI geschriebenen E-Mails verdeutlicht.
Ziele
Global
Beispiele für AI-generierte E-Mails
Während des Analyseprozesses wurden mehrere bösartige Beispiele gefunden, die eine charakteristische Sprache enthalten, die auf KI-Tools hinweist.
Beispiel 1 - KI-generierte Nachricht spam
Indikatoren:
- "befasst sich mit den Feinheiten von", "und navigiert durch die Komplexität der"
- Übermäßiger Gebrauch von Kugeln
Beispiel 2 - AI-generierte BEC-Meldung
Indikatoren:
- Ich hoffe, diese Nachricht ist für Sie von Nutzen.
- Wiederholung der Wörter "Geschenkkarten" und "Überraschung
Beispiel 3 - AI-generierte BEC-Meldung
![]()
Indikatoren:
Beispiel 4 - KI-generierte Phishing-Nachricht
Indikatoren:
- tiefer in die Materie eindringen".
- stolperte" oder "stolperte über
- Langes '-' wird bei ChatGPT verwendet
Empfehlungen
Diese Ergebnisse deuten darauf hin, dass manuelle Phishing-Untersuchungen nach wie vor eine wichtige Schutzmaßnahme darstellen, insbesondere wenn sie von Endbenutzern gemeldet werden. Es ist von entscheidender Bedeutung, dass Bedrohungsforscher die Sprache auf spezifische Marker hin untersuchen, die mit unseren Erkenntnissen übereinstimmen, indem sie Indikatoren wie "vertiefen Sie das" oder "Hallo!" mit Querverweisen versehen, insbesondere bei Nutzern, die diese Sprache üblicherweise nicht verwenden. Mit bekannten Bedrohungsmustern können Sie Phishing-Bedrohungen effektiver erkennen, die Zeit für die Beseitigung von Problemen verkürzen und das Unternehmensrisiko verringern.
Die Sicherheitsteams sollten sicherstellen, dass sich die Indikatoren, die sie bei ihren Untersuchungen verwenden, mit den großen Sprachmodellen, die sich ständig ändern, weiterentwickeln.
