Verteidigung von KI in einem gegnerischen Umfeld

Cybersecurity-Führungskräfte ermutigen Unternehmen zunehmend, KI einzusetzen, um ihre Cyber-Resilienz zu verbessern angesichts der Tatsache, dass KI-bewehrte Cyberkriminelle intelligente Fähigkeiten nutzen, um Ransomware, E-Mail-Phishing-Betrug und andere Angriffe zu verstärken. Aber was passiert, wenn die KI selbst gehackt wird?

Das ist die neueste Bedrohung, die Cybersecurity-Teams berücksichtigen müssen, wenn sie KI für ihre eigene Cyberabwehr einsetzen und versuchen, die wachsende Zahl von KI-gestützten Technologien und Prozessen in ihren Unternehmen zu schützen. "Wenn Sie maschinelles Lernen für eine sicherheitsrelevante Funktion einsetzen, sind Sie anfällig für diese Angriffe", sagt Dr. Herbert Roitblat, Principal Data Scientist bei Mimecast und anerkannter KI-Experte.

Maschinelles Lernen ist auf Daten angewiesen, um zu lernen, und das schafft ein klares Ziel für die Verfälschung von KI-Modellen. Maschinelles Lernen funktioniert durch das Lernen von statistischen Assoziationen oder Mustern, die, wie sich herausstellt, relativ leicht zu stören sind. In einem Harvard-Forschungspapier heißt es: "Anders als Menschen haben maschinelle Lernmodelle kein Basiswissen, das sie nutzen können - ihr gesamtes Wissen hängt ausschließlich von den Daten ab, die sie sehen. Wenn man die Daten vergiftet, vergiftet man das KI-System". [1]

Bösartiges maschinelles Lernen: KI unter Cyberangriff

Da KI immer ausgereifter wird und in immer mehr Unternehmen zum Einsatz kommt, nutzen bösartige Akteure natürlich Techniken wie Datenvergiftung und gegnerische Beispiele (Eingaben in maschinelle Lernmodelle, die ein Angreifer absichtlich so gestaltet hat, dass das Modell einen Fehler macht), um diese Systeme zu infizieren und ihre Ergebnisse zu beeinflussen.[2], [3] Ein sehr öffentliches Beispiel: Es dauerte weniger als einen Tag, bis Twitter-Nutzer Tay, den 2016 von Microsoft eingeführten KI-Chatbot, beschädigten. Nachdem er einen Strom rassistischer und frauenfeindlicher Tweets aufgenommen hatte, begann der Bot selbst, im Gegenzug aufrührerische und beleidigende Tweets zu posten.[4]

Während die Folgen für Microsoft eher rufschädigend waren, könnten potenzielle gegnerische Angriffe auf die KI andere, schwerwiegendere Schäden verursachen, wie ein kürzlich erschienener Artikel in der Fachzeitschrift für Hochleistungsrechner datanami aufzeigt: "Eine Militärdrohne identifiziert feindliche Panzer fälschlicherweise als befreundet. Ein selbstfahrendes Auto weicht in den Gegenverkehr aus. Ein NLP-Bot gibt eine fehlerhafte Zusammenfassung einer abgefangenen Leitung. Dies sind Beispiele dafür, wie KI-Systeme gehackt werden können, ein Bereich, der sowohl für Regierungen als auch für die Industrie zunehmend an Bedeutung gewinnt." [5]

Erst letztes Jahr manipulierten Hacker die intelligenten Systeme an Bord eines Tesla Model S, was unter anderem dazu führte, dass das Auto in den Gegenverkehr geriet.[6] Die MIT Technology Review erklärt: Dies ist ein Beispiel für einen "gegnerischen Angriff", eine Art der Manipulation eines maschinellen Lernmodells durch Einspeisung einer speziell angefertigten Eingabe. Mit der zunehmenden Verbreitung des maschinellen Lernens, insbesondere in Bereichen wie der Netzwerksicherheit, könnten solche Angriffe immer häufiger vorkommen." [7]

Feuer mit Feuer bekämpfen, um KI in der Cybersicherheit widerstandsfähiger zu machen

Experten gehen davon aus, dass der Einsatz fortschrittlicher KI sowohl bei Cyberangriffen als auch bei den Cybersicherheitsbemühungen von Unternehmen im Jahr 2020 deutlich zunehmen wird. Ein Grund für die rasche Zunahme von KI-orientierten Cyberangriffen ist der Open-Source-Charakter eines Großteils der KI-Forschung und -Entwicklung - und die Fähigkeit von Cyberkriminellen, neue Technologien schneller zu übernehmen als viele große Unternehmen.

Bob Adams, ein Sicherheitsstratege bei Mimecast, erklärte dies in einem Artikel über 2020 Vorhersagen für VMblog.com: "Unternehmen, die KI implementieren wollen, müssen Zeit darauf verwenden, die Effektivität und Genauigkeit ihres Tools zu überwachen, während Angreifer über unglaubliche Mengen an Informationen verfügen, die sie durch Open-Source-Intelligence sammeln. Das Gleichgewicht zwischen denjenigen, die versuchen zu verteidigen, und denjenigen, die angreifen, ist ein digitales Schlachtfeld, das sich ständig verändern wird."

Angreiferische KI "ist ein großes Problem", sagte die UC Berkeley-Professorin Dawn Song letztes Jahr auf einer MIT Technology Review Veranstaltung, auf der Branchenführer aufgefordert wurden, sich zusammenzuschließen, um das Problem zu lösen.[8] Die DARPA startete 2019 das Programm Guaranteeing AI Robustness against Deception (GARD), um Schwachstellen zu identifizieren, die Robustheit von KI zu stärken und Abwehrmechanismen zu entwickeln, die gegen KI-Hacks resistent sind.[9]

Auf lokaler Ebene gibt es einige Open-Source-Ansätze, die sich Cyber-Sicherheitsverantwortliche zunutze machen können, um KI-Modelle widerstandsfähiger gegen Angriffe zu machen. Der Bereich des gegnerischen Trainings ist entstanden, um Schwachstellen von Modellen und Algorithmen des maschinellen Lernens zu untersuchen und sie gegen gegnerische Manipulationen zu sichern. Durch gegnerisches Training wird versucht, die Cyber-Resilienz eines KI-Modells zu verbessern, indem gegnerische Proben in das Training einbezogen werden.[10] Die Theorie besagt, dass ein KI-Modell durch das Training mit Ihren eigenen gegnerischen Datensätzen in die Lage versetzt wird, gegnerische Daten in der realen Welt zu klassifizieren - und zu lernen, sie zu ignorieren.

Was Sie tun können, um die Widerstandsfähigkeit von Cybersecurity AI zu erhöhen

"Je mehr ein Angreifer darüber weiß, was Sie tun, desto mehr kann er es nachahmen", sagt Roitblat. Diese Überlegungen bilden die Grundlage für eine Reihe von Maßnahmen, die Cyber-Sicherheitsverantwortliche bei der Entwicklung von KI-Systemen ergreifen können, um sie besser vor Angriffen zu schützen, darunter:

• Änderung der Eingangsmerkmale von Open-Source-Datensätzen (z. B. niedrige und hohe Frequenz, mehrere Sensoren, neuartige Merkmale).
• Randomisierung der Eingaben (z. B. Jitter, Skalierung, Drehung, Hinzufügen von Rauschen).
• Vermeidung von häufig verwendeten Bibliotheken.
• Training auf einzigartigen Daten.
• Analyse von Fehlermustern in Trainingsdaten.

Die Quintessenz

Da KI immer mehr an Bedeutung gewinnt und in Unternehmen und deren Cybersicherheitssysteme integriert wird, wird sie zu einem größeren Ziel für Cyberangriffe. Cybersecurity-Führungskräfte müssen das Potenzial für feindliche Angriffe auf die von ihnen genutzten KI-Systeme verstehen und Ansätze, wie z. B. gegnerisches Training, erforschen, um diese wachsende Bedrohung zu bekämpfen.

[1] Attacking Artificial Intelligence: AI's Security Vulnerability and What Policymakers Can Do About It , Harvard Kennedy School's Belfer Center for Science and International Affairs

[2] "Adversarial Machine Learning at Scale ," Google und Université de Montréal

[3] "Attacking Machine Learning with Adversarial Examples," OpenAI Blog

[4] "Twitter brachte Microsofts KI-Chatbot in weniger als einem Tag bei, ein rassistisches Arschloch zu sein," The Verge

[5] "Hacking AI: Exposing Vulnerabilities in Machine Learning," Datanami

[6] Experimentelle Sicherheitsforschung von Tesla Autopilot , Tencent Keen Security Lab

[7] "Hacker bringen einen Tesla dazu, auf die falsche Spur zu wechseln," MIT Technology Review

[8] "Wie bösartiges maschinelles Lernen die KI entgleisen lassen könnte," MIT Technology Review

[9] Garantierte KI-Robustheit gegen Täuschung (GARD) , Dr. Bruce Draper, Defense Advanced Research Projects Agency

[10] "Adversarial Attacks and Defenses in Deep Learning," Engineering