Mimecast Bedrohungsdaten: Wie ChatGPT die E-Mail auf den Kopf stellte

UPDATE: Dieser Blog wurde ursprünglich am 30. September 2024 als Folgebericht zum Global Threat Intelligence Report 2024 H1 von Mimecast veröffentlicht. Wir haben die hier wiedergegebenen Daten inzwischen aktualisiert, da wir die Verwendung von generativen KI-Tools wie ChatGPT durch Cyberkriminelle bei ihren Bemühungen, glaubhaftere Phishing-E-Mails und andere bösartige Inhalte zu erstellen, weiterhin genau beobachten. Seien Sie versichert, dass wir diese Angriffsmethode weiterhin überwachen und bei Bedarf wieder über aktualisierte Ergebnisse berichten werden.

In den meisten Cybersecurity-Medien nehmen die Verweise auf generative KI nicht nur exponentiell zu, sondern es wird auch darauf hingewiesen, dass sie von böswilligen Akteuren eingesetzt wird, was das große Potenzial hat, sich negativ auf jedes Unternehmen auszuwirken.

Bei der Befragung von Mimecast-Bedrohungsforschern für unseren Global Threat Intelligence Report 2024 H1 wurden Fragen über die Verbreitung von KI in Phishing-E-Mails gestellt - aber es konnten keine Zahlen genannt werden. Dies lässt Fragen offen, wie z.B. wie verbreitet dies ist und ob es gemessen werden kann. Unser Data-Science-Team nahm die Herausforderung an, indem es eine Erkennungsmaschine entwickelte, die anhand einer Mischung aus aktuellen und historischen E-Mails sowie synthetischen, von KI generierten E-Mails feststellt, ob eine Nachricht von Menschen oder von KI generiert wurde. 

Die Untersuchung ergab einen Zeitpunkt, an dem wir einen zunehmenden Trend bei KI-generierten E-Mails beobachteten, der mit der Veröffentlichung von ChatGPT korrelierte. Wir haben auch bösartige, von KI generierte BEC-, Betrugs- und Phishing-E-Mails beobachtet. Dies führte dazu, dass Analysten/Sicherheitsteams und Endbenutzer die Indikatoren für KI-generierte Inhalte verstehen müssen, die ihnen helfen könnten, diese Angriffe zu erkennen. 

Verräterische Anzeichen für KI-generierte E-Mails 

ChatGPT hat das KI-gestützte Schreiben von E-Mails für jedermann zugänglich gemacht, sogar für böswillige Akteure, aber das ist nicht das einzige Instrumentarium, das ihnen zur Verfügung steht. In einem früheren Blogbeitrag haben wir einige der generativen KI-Tools vorgestellt, die sie verwenden. Früher waren solche Tools hauptsächlich für Unternehmen gedacht. Jetzt kann jeder KI nutzen, um gut formulierte E-Mails zu schreiben, die für verschiedene Situationen geeignet sind. Mit der zunehmenden Verbreitung von KI-generierten Inhalten wird es immer schwieriger, zwischen von Menschen geschriebenem und maschinell generiertem Text zu unterscheiden. Eines der bemerkenswertesten Merkmale von KI-Sprachmodellen ist die Verwendung komplexer Wörter und Satzstrukturen, die ihre Beteiligung am Schreiben verraten können. Forscher der Cornell University haben herausgefunden, dass KI-Sprachmodelle bestimmte Wörter in wissenschaftlichen Texten bevorzugen. "Bei der Analyse von 14 Millionen Artikeln aus den Jahren 2010-2024 stellten sie einen starken Anstieg spezifischer 'Stilwörter' nach Ende 2022 fest, als KI-Tools allgemein verfügbar wurden. Zum Beispiel erscheint 'delves' im Jahr 2024 25 Mal häufiger als zuvor. Andere von der KI bevorzugte Wörter sind 'präsentieren', 'unterstreichen' und 'entscheidend'."

Woher wir wissen, dass ChatGPT die E-Mail geändert hat 

Das Data-Science-Team von Mimecast begann mit der Absicht, ein Modell zu trainieren, das die Unterschiede zwischen von Menschen geschriebenen und von KI verfassten E-Mails erkennt. Insgesamt wurden über 20.000 E-Mails aus den Daten von Mimecast zusammen mit den von LLM generierten synthetischen Daten - GPT4o von OpenAI, Claude 3.5 Sonnet von Anthropic, Command R+ von Cohere, Jamba Instruct von AI21 und Llama3 von Meta - verwendet. Das erstellte Deep-Learning-Modell bestimmt, welche Merkmale die einzelnen Datenpunkte in Bezug auf die verwendete Sprache entweder menschlich oder von der KI geschrieben sind. Zum Testen haben wir vier Datensätze verwendet, um sicherzustellen, dass sich unser Modell nicht zu sehr an unsere Trainingsdaten anpasst, sondern gut verallgemeinern kann: 

• 10.000 von Menschen geschriebene E-Mails von Mimecast 
• 7.000 LLM-generierte synthetische Daten  
• Menschlicher und LLM-Datensatz von Kaggle(Link)
• Betrugsdatensatz von Kaggle(Link). Es wird davon ausgegangen, dass alle E-Mails von Menschen verfasst wurden, da sie vor dem Aufkommen der LLMs gesammelt wurden. 

Sobald das Training abgeschlossen war, wurde unserem Modell eine E-Mail nach der anderen gezeigt und es wurde gebeten zu bestimmen, ob das Beispiel von einem Menschen oder einer KI geschrieben wurde. Wir haben diese Übung 200.000 Mal mit verschiedenen Gruppen von E-Mails wiederholt. Wir konnten damit eine Teilmenge von E-Mails analysieren, um vorherzusagen, ob sie von einem Menschen oder einer KI geschrieben wurde. Die Ergebnisse dieser Übung finden Sie in Abbildung 1, die auch die Zunahme der von KI geschriebenen E-Mails verdeutlicht. Es ist wichtig anzumerken, dass das Modell nicht darauf abzielte, bösartige, von KI geschriebene E-Mails zu identifizieren, sondern vielmehr darauf, die Verbreitung von KI abzuschätzen. Vor der Durchführung dieser Studie war bekannt, dass KI-geschriebene Nachrichten gesehen werden, aber wir kannten das Ausmaß nicht. 

Abbildung 1 - Von Menschen geschriebene und von KI geschriebene gutartige und bösartige E-Mails pro Monat 

Wir haben eine Stichprobe von 2.000 E-Mails pro Monat von Januar 2022 bis März 2025 gezogen. Diese Statistiken zeigen, dass bis zu 10% in einem einzelnen Monat für den Datensatz KI geschrieben wurden, wie in Abbildung 2 zu sehen ist. Wichtig ist jedoch, dass das Liniendiagramm nicht nur eine deutliche Zunahme des Einsatzes von KI beim Verfassen von E-Mails zeigt, sondern auch den Rückgang der von Menschen geschriebenen E-Mails, was sich mit dem deckt, was in den Veröffentlichungen zu sehen ist. Ob dies auf nicht-englischsprachige Sprecher oder den Einsatz von KI als Schreibhilfe zurückzuführen ist, um sie zu verbessern, ist derzeit nicht bekannt. 

Abbildung 2 - Prozentualer Anteil von Menschen geschriebener E-Mails im Vergleich zu KI-E-Mails pro Monat

Anschließend haben wir die von den Endbenutzern übermittelten Daten, die als bösartig identifiziert wurden, verwendet, umdie Häufigkeit der Wörter im Namensthema nach Häufigkeit geordnet zu berechnen. Wie Sie in Abbildung 3 sehen können, gibt es viele Gemeinsamkeiten im Zusammenhang mit Steuern, Banken und anderen Phishing-Themen. Dies zeigt auch, dass sich die jährlichen Themen mehr als alles andere durchsetzen.

Abbildung 3 - Top-Themen in MML-geschriebenen E-Mails

Anschließend analysierten wir die charakteristischen Merkmale bösartiger LLM-generierter E-Mails und identifizierten die 30 häufigsten Wörter, wie in Abbildung 4 zu sehen ist. Das häufige Vorhandensein von förmlichen Begrüßungen wie "Ich hoffe, diese Nachricht findet Sie gut," und die sich wiederholende Schlussphrase "Vielen Dank für Ihre Zeit" ermöglicht es uns, die Verwendung von LLMs auf der Grundlage unserer früheren Erkenntnisse weiter zu validieren.

Abbildung 4 - Die wichtigsten Wörter in von LLM geschriebenen E-Mails

Beispiele für KI-generierte E-Mails 

Bei der Durchsicht der Einsendungen wurden einige bösartige Beispiele gefunden, die eine auffällige Sprache enthalten. 

Beispiel #1 der Gen AI spam Nachricht

Indikatoren:  

• "beschäftigt sich mit den Feinheiten von", "und navigiert durch die Komplexität von" 
• Übermäßiger Gebrauch von Kugeln

Beispiel #2 einer Gen AI BEC-Meldung 

Indikatoren:  

• Ich hoffe, diese Nachricht ist für Sie von Nutzen.  
• Wiederholung der Wörter "Geschenkkarten" und "Überraschung

Beispiel #3 einer Gen AI BEC Nachricht 

Indikatoren:  

• Hallo! 

Beispiel #4 einer Gen AI-Phishing-Nachricht

Indikatoren: 

• tiefer in die Materie eindringen". 
• stolperte" oder "stolperte über 
• Langes '-' wird bei ChatGPT verwendet 

Empfehlungen 

Diese Ergebnisse deuten darauf hin, dass manuelle Phishing-Untersuchungen weiterhin eine wichtige Schutzmaßnahme darstellen sollten, insbesondere wenn sie von Endbenutzern gemeldet werden. Es ist von entscheidender Bedeutung, dass Bedrohungsforscher die Sprache auf spezifische Marker hin untersuchen, die mit unseren Erkenntnissen übereinstimmen. Indem Sie Indikatoren wie "vertiefen Sie das" oder "Hallo!" mit bekannten Bedrohungsmustern abgleichen, können Sie Phishing-Bedrohungen effektiver identifizieren, die Zeit für die Behebung verkürzen und das Unternehmensrisiko verringern.  

Wie immer sollten die Sicherheitsteams sicherstellen, dass ihre Indikatoren mit großen Sprachmodellen und neuen Datensätzen Schritt halten. 

Wenn Sie mehr über die neuesten Forschungsergebnisse von Mimecast zu Bedrohungen erfahren möchten, lesen Sie bitte unseren Global Threat Intelligence Report 2024 H2 und besuchen Sie unseren Threat Intelligence Hub.

**Dieser Blog wurde ursprünglich am 30. September 2024 veröffentlicht.