Generative KI eröffnet neue Front im Cyber-Rüstungswettlauf

    Die generative KI, die die Entwicklung von Inhalten und Softwarecode beschleunigt und verbessert, kann im Bereich der Cybersicherheit sowohl zum Guten als auch zum Schlechten eingesetzt werden.

    by Jose Lopez
    21BLOG_1.jpg

    Wichtige Punkte

    • Generative KI hat sich in letzter Zeit zu einem weithin zugänglichen Werkzeug entwickelt, das die Entwicklung von Inhalten und Code beschleunigen und verbessern kann.
    • Auch Cyberangreifer nutzen sie, um ihre Phishing-Kampagnen zu verstärken und Lücken in der Sicherheitsabwehr von Unternehmen auszunutzen.
    • Dieser plötzliche Sprung im maschinellen Lernen wird die Cybersicherheitsteams auf eine harte Probe stellen.

    Die ChatGPT-Schlagzeilen kamen schnell und wütend und erforschten, wie dieser beliebte generative Chatbot mit künstlicher Intelligenz (KI), der in der Lage ist, auf Anfrage realistische Inhalte zu produzieren, unser Leben beeinflussen wird. Für Fachleute im Bereich der Cybersicherheit sind die Risiken und Chancen besonders tiefgreifend. Der plötzliche Anstieg des Einsatzes generativer KI eröffnet eine neue Front im langjährigen Wettrüsten zwischen Angreifern und Verteidigern im Bereich der Cybersicherheit.

    Generative KI-Modelle werden auf beiden Seiten des Cyber-Battlefields eingesetzt. Im Mittelpunkt steht die Frage, welche Seite als erste einen Vorteil erhält, wobei die Chancen für die Angreifer sprechen.

    Wie generative KI Inhalte und Codes entwickelt

    Generative KI kann die Arbeit von Inhaltsentwicklern und Programmierern dramatisch skalieren und beschleunigen - zum Guten wie zum Schlechten. Ich spreche aus Erfahrung, da ich letztes Jahr Beta-Nutzer des generativen KI-Codierassistenten Copilot wurde (der jetzt allgemein verfügbar ist).[1] Meine Produktivität als Ingenieur für maschinelles Lernen und Principal Data Scientist bei Mimecast ist so viel höher: Ich kann an einem Tag programmieren, wofür ich früher eine Woche gebraucht habe. Künftige Versionen dieser Kodierwerkzeuge werden noch leistungsfähiger sein.

    Bislang ging es bei der KI und ihrer Untergruppe, dem maschinellen Lernen, größtenteils um prädiktive Analysen, bei denen Techniken wie die Mustererkennung auf Text-, Code- oder Bildsammlungen angewandt wurden, um Vorschläge zu machen, was als nächstes kommen könnte. Die generative KI, eine Technik, die sich seit einigen Jahren entwickelt, geht einen Schritt weiter: Sie kann dieselben Datenspeicher auswerten, um automatisch den Text, den Code oder die Bilder zu generieren, die als nächstes kommen sollen. Und er kann bei Bedarf als Chatbot initiiert werden, der die Anfragen der Nutzer - z. B. "schreibe einen Aufsatz über den Krieg, der wie Hemingway klingt - mit vollwertigen Antworten beantwortet".[2]

    ChatGPT rückt generative KI ins Rampenlicht

    Diese KI der nächsten Generation hatte ihren Durchbruch im November mit der Open-Source-Veröffentlichung und der viralen Verbreitung von ChatGPT, einem Chatbot, der natürliche Sprache verarbeitet und Inhalte generiert. In den folgenden Monaten hat sich alles verändert. Die generative KI, die sich zuvor unter dem Radar entwickelt hatte, war plötzlich weithin zugänglich und gewann an Dynamik.

    Bedenken Sie jedoch, dass wir noch am Anfang stehen. ChatGPT funktioniert nur für einen Teil der Internet-Inhalte, die bis 2021 datiert sind. Die Technologen arbeiten jedoch weiterhin an der Komprimierung von Internetinhalten, um sie zu verarbeiten. Letztendlich werden Entwickler ihre KI-Modelle mit dem gesamten Internet trainieren können.

    Einem neuen Bericht einer finnischen Regierungsbehörde zufolge wurden bislang keine direkten Verbindungen zwischen der Technologie und einzelnen Cyberangriffen hergestellt. "Es ist schwierig, Beweise für solche Angriffe zu finden - Ermittler erhalten nur selten Zugang zu den Backend-Systemen der Angreifer, in denen ihre KI-basierte Logik wahrscheinlich eingesetzt wird", schreibt die finnische Behörde für Verkehr und Kommunikation (Traficom).[3] Allerdings arbeiten sowohl Angreifer als auch Verteidiger mit diesen KI-Tools der nächsten Generation, und es gibt Berichte über bösartige Entwicklungen im Dark Web. Universitätsforscher haben auch aufgedeckt, wie Programmierassistenten wie Copilot "vergiftet" werden können, um bösartigen Code vorzuschlagen.[4] 

    Angesichts der rasanten Entwicklung der generativen KI sind zwei kritische Aspekte der Cybersicherheit - E-Mail-Sicherheit und Schwachstellenmanagement - Paradebeispiele für ihre Fähigkeiten in den Händen von Angreifern und Verteidigern. 

    Generative KI kann Phishing aufwerten

    Phishing ist seit Jahren ein unlösbares Problem. E-Mails sind der bevorzugte Ausgangspunkt für die meisten Angriffe von Cyberangreifern, ganz gleich, ob das Ziel der Diebstahl von Anmeldedaten, Finanzbetrug, die Verbreitung von Malware oder Ransomware ist.

    Generative KI kann die Qualität und das Ausmaß von Phishing verbessern und ermöglicht es Angreifern, immer überzeugendere E-Mails in Echtzeit zu erstellen. Wenn man einen KI-Chatbot bittet, eine E-Mail in der Stimme eines bestimmten Geschäftsführers zu verfassen, könnte er beispielsweise eine realistischere Aufforderung zur Abhebung von Geldbeträgen von einem Konto übermitteln und dabei auf die im Internet gesammelten Informationen zurückgreifen. Wenn der E-Mail-Empfänger antwortet, kann der Chatbot automatisch auch Folgefragen beantworten - nicht mit einer Vorlage, sondern durch die Generierung einer Antwort in Schriftzeichen.

    Die Geschwindigkeit, Qualität und Reichweite der Technologie könnte es Cyberkriminellen ermöglichen, die Anzahl der CEO-Betrügereien oder anderer Kompromittierungen von Geschäfts-E-Mails (BEC), die sie gleichzeitig durchführen, auf ein noch nie dagewesenes Niveau zu steigern. Da diese generativen KI-Tools einfach zu bedienen sind, sind die erforderlichen Kenntnisse minimal.

    Generative KI kann bei der Behebung von Software-Schwachstellen helfen

    Ein weiteres Sicherheitsproblem, dem Unternehmen immer wieder ausgesetzt sind, ist interner Natur, d. h. ein laxer Ansatz bei der Aktualisierung von Software und der Behebung von Sicherheitslücken. Heutzutage ist es für Cyberkriminelle sehr zeit- und ressourcenaufwändig, herauszufinden, wo sich diese Lücken im Netzwerk eines Unternehmens befinden, um sie auszunutzen. Aber generative KI kann Code auf der Grundlage von Anweisungen in englischer Sprache schreiben. Damit können Angreifer die Systeme von Unternehmen leicht zurückentwickeln, indem sie einfach das KI-Modell bitten, den Code eines Systems zu erklären und zu zeigen, wo es am anfälligsten ist.

    Es gibt noch mehr. Generative KI kann dazu beitragen, dass bösartige Programme von den Systemen, die sie kompromittiert haben, lernen und deren Verhalten imitieren, was ihre Entdeckung erschwert. Wenn sich ein Programm in Form einer fortgeschrittenen anhaltenden Bedrohung (Advanced Persistent Threat, APT) versteckt, kann seine neu gewonnene Autonomie seine Heimlichkeit noch verstärken. Das liegt daran, dass es weniger Kommunikation zwischen der Malware und der Kommandozentrale des Cyberkriminellen geben würde.

    Einsatz generativer KI zur Abwehr von Angriffen

    Die gute Nachricht ist, dass generative KI fast jede Programmieraufgabe auch für die Guten beschleunigen kann. Ich benutze Copilot jeden Tag, und die oben beschriebenen Produktivitätssteigerungen beschleunigen meine Entwicklung von Mimecast-Sicherheitslösungen. Wie gut funktioniert die generative KI? Ich habe festgestellt, dass sie in etwa 50 % der Fälle die richtige Antwort liefert. Doch selbst wenn es falsch ist, ist es "fast richtig". Da ich aus der Programmierung komme, kann ich erkennen, welcher Teil des Codes falsch ist, und ihn schnell ändern. Und obwohl ich weiß, dass das Tool derzeit nur auf einer Teilmenge des gesamten bekannten Codes trainiert ist, sehe ich, dass seine Reichweite und Genauigkeit von Monat zu Monat zunimmt.

    Dennoch könnte dieses Wettrüsten zwischen KI und KI ein harter Kampf für Cyberverteidiger sein. "KI wird völlig neue Angriffstechniken ermöglichen, die schwieriger zu bewältigen sein werden und die Entwicklung neuer Sicherheitslösungen erfordern werden",", so der Traficom-Bericht. Eine dieser Lösungen könnte der verstärkte Einsatz von Mechanismen zur autonomen Entscheidungsfindung sein, um die Erkennung zu beschleunigen, die heute Tage dauern kann.

    Bei Mimecast arbeiten wir an Erkennungstechniken, um zwischen von Menschen und Maschinen generierten Phishing-E-Mails zu unterscheiden. Aber, so Traficom: "Es gibt noch keine wirksame Lösung, um ihnen zu begegnen."

    Unternehmen können hinter Cyber-Gangs zurückbleiben

    Leider sind Cyberkriminelle in der Lage, bei der Nutzung generativer KI schneller zu sein als Anbieter und andere Unternehmen. Der Grund dafür ist hauptsächlich kultureller Natur.

    Cyberkriminelle sind nicht so risikoscheu wie Unternehmen. Da sie in diesen neuen Instrumenten ein enormes Gewinnpotenzial sehen, sind sie eher bereit, sich umzustellen, um die Vorteile zu nutzen. Seriöse Unternehmen hingegen verfügen über einen weniger agilen Prozess für die Zuweisung von Zeit, Geld und Personal für Funktionen wie Cybersicherheit, die als Kostenstellen betrachtet werden. Wie so oft in diesem Bereich werden die Unternehmen erst dann aktiv, wenn die Risiken greifbarer werden.

    Über die derzeitigen Grenzen hinausblicken

    In der Zwischenzeit werden Milliarden von Dollar in die vielen Unternehmen investiert, die daran arbeiten, die generative KI über den aktuellen Stand der Technik hinaus weiterzuentwickeln, und die Verwendung von Open-Source-Techniken wird dies noch beschleunigen. "Wir wissen, dass es noch viele Einschränkungen gibt", sagt OpenAI, der Erfinder von ChatGPT, "und wir planen, das Modell regelmäßig zu aktualisieren, um es in diesen Bereichen zu verbessern."[5]

    Zu den Unzulänglichkeiten der generativen KI gehören:

    • Begrenzte Trainingsdaten:Obwohl aktuelle Modelle Zugang zu Milliarden von Datenpunkten haben, trainieren sie dennoch auf einem begrenzten Satz von Informationen, die derzeit nicht mit dem "Live"-Internet verbunden sind.[6]
    • Irrtümer: OpenAI räumt ein, dass ChatGPT "plausibel klingende, aber falsche oder unsinnige Antworten" geben kann.
    • Fragen des geistigen Eigentums (IP): Klagen, die den Fortschritt verlangsamen könnten, wurden bereits in Fällen eingereicht, in denen behauptet wird, dass generative KI die Rechte des geistigen Eigentums verletzt.[7]
    • Kosten: Die Entwicklung von Schutzmaßnahmen gegen diese neue Art von Angriffen erfordert teure Geräte (Grafikprozessoren oder GPUs) und IT-Kenntnisse, die derzeit kaum vorhanden sind.

    Die Quintessenz

    Generative KI ist seit kurzem weithin zugänglich und wird sowohl von Cyberangreifern als auch von Cyberverteidigern verstärkt genutzt, um die Entwicklung von Inhalten und Code zu beschleunigen und zu verbessern. Die vollen Auswirkungen auf die Cybersicherheitsteams, die voraussichtlich erheblich sein werden, werden erst in den kommenden Monaten ans Licht kommen. Lesen Sie, wie Mimecast bereits verschiedene Arten von künstlicher Intelligenz in seinen Cybersicherheitslösungen einsetzt.

     

    [1] "GitHub Copilot ist allgemein für alle Entwickler verfügbar," GitHub

    [2] "ChatGPT brachte mich dazu, zu hinterfragen, was es bedeutet, ein kreativer Mensch zu sein," Vanity Fair

    [3] "Die Sicherheitsbedrohung durch KI-gestützte Cyberangriffe," Traficom

    [4] "Trojaner-Puzzle-Angriff trainiert KI-Assistenten so, dass sie bösartigen Code vorschlagen," Bleeping Computer

    [5] "ChatGPT: Optimierung von Sprachmodellen für Dialoge," OpenAI

    [6] "Sicherheitsrisiken von ChatGPT und anderen KI-Textgeneratoren," CyberRisk Alliance

    [7] "Eine Übersicht über generative KI-bezogene Gerichtsverfahren" Emerging Tech Brew

    Abonnieren Sie Cyber Resilience Insights für weitere Artikel wie diesen

    Erhalten Sie die neuesten Nachrichten und Analysen aus der Cybersicherheitsbranche direkt in Ihren Posteingang

    Anmeldung erfolgreich

    Vielen Dank, dass Sie sich für den Erhalt von Updates aus unserem Blog angemeldet haben

    Wir bleiben in Kontakt!

    Zurück zum Anfang