Agentenbasierte KI-Governance: Es ist an der Zeit, KI-Agenten zur Rechenschaft zu ziehen

Agentische KI entwickelt sich rasch vom Experimentierstadium hin zum Einsatz im täglichen Geschäftsbetrieb. Diese Systeme beschränken sich nicht mehr darauf, lediglich Fragen zu beantworten oder Dokumente zusammenzufassen. Sie können eine Verbindung zu Tools herstellen, Informationen abrufen, Arbeitsabläufe auslösen und im Namen der Benutzer handeln.

Dieser Wandel stellt die Politik vor eine neue Herausforderung. Wenn ein KI-Agent Maßnahmen ergreift, müssen Unternehmen wissen, wer dafür verantwortlich ist, was er tun darf und wie man ihn stoppen kann, falls sich das Risiko ändert. Eine agentenbasierte KI-Governance bietet den Rahmen, um diese Fragen zu klären, bevor Autonomie zu einem Risiko wird.

Was versteht man unter „Agentic AI Governance“?

Die „Agentic AI Governance“ ist das Rahmenwerk, das Organisationen nutzen, um KI-Agenten zu verwalten, die mit einem gewissen Maß an Unabhängigkeit agieren können. Darin wird festgelegt, wie Agenten zugelassen werden, wie ihr Zugriff gesteuert wird und wie ihre Aktivitäten nach ihrem Einsatz überprüft werden.

Agentische KI birgt ein zusätzliches Risiko, da das System mehr kann, als nur eine Antwort zu generieren. Es kann mit Unternehmenssystemen interagieren und reale Arbeitsabläufe beeinflussen.

Das bedeutet, dass die Unternehmensführung enger mit dem operativen Geschäft verzahnt werden muss. Sicherheits- und Compliance-Teams müssen wissen, auf welche Daten die einzelnen Agenten zugreifen können, welche Aktionen sie ausführen dürfen und ob diese Aktionen im Rahmen des genehmigten Geschäftszwecks liegen.

Wodurch unterscheidet sich agentische KI von herkömmlicher KI?

Bei der herkömmlichen generativen KI ist in der Regel ein Mensch dafür zuständig, zu entscheiden, wie es weitergeht. Ein Benutzer gibt eine Eingabe ein, überprüft die Antwort und ergreift Maßnahmen außerhalb des Modells.

Agentische KI verändert diese Beziehung. Ein Agent kann ein Ziel verfolgen, entscheiden, welcher Schritt als Nächstes folgt, Tools aufrufen und seine Arbeit systemübergreifend fortsetzen. Der Mensch mag zwar weiterhin das Ziel festlegen, doch der Agent könnte einen größeren Teil der Umsetzung übernehmen.

Wesentliche Merkmale der agentenbasierten KI

Agentenbasierte Systeme bergen in der Regel Risiken, da sie Autonomie mit Zugriffsrechten verbinden. Zu den gemeinsamen Merkmalen gehören:

• Mehrstufige Planung: Der Agent kann eine größere Anfrage in kleinere Aktionen unterteilen.
• Kontinuierliche Ausführung: Der Agent kann seine Arbeit über eine einzelne Eingabeaufforderung oder Sitzung hinaus fortsetzen.
• Zugriff auf Tools: Der Agent kann eine Verbindung zu Anwendungen, APIs, Dateien oder Workflows herstellen.
• Anpassungsfähiges Verhalten: Der Agent kann seine Richtung auf der Grundlage neuer Informationen ändern.
• Autonomes Handeln: Der Agent kann Aufgaben ausführen, ohne dass bei jedem Schritt eine menschliche Genehmigung erforderlich ist.

Diese Funktionen schaffen zwar geschäftlichen Mehrwert, machen die Steuerung jedoch auch komplexer. Ein Chatbot, der eine unzureichende Antwort liefert, birgt eine bestimmte Art von Risiko. Ein Agent, der auf sensible Daten zugreift, eine Nachricht versendet oder ein System aktualisiert, bewirkt etwas ganz anderes.

Warum herkömmliche Rahmenwerke für die KI-Governance unzureichend sind

Herkömmliche Rahmenwerke für die KI-Governance wurden für ein besser vorhersehbares Modell der KI-Nutzung entwickelt. Sie gehen häufig von einigen Annahmen aus:

• Wichtige Entscheidungen werden von Menschen genehmigt.
• KI-Aktivitäten finden in einer definierten Umgebung statt.
• Die Ergebnisse des Modells stellen die Hauptrisikquelle dar.
• Überprüfungen können in regelmäßigen Abständen stattfinden.
• Der Zugriff wird über die vorhandenen Benutzersteuerelemente verwaltet.

Agentische KI untergräbt diese Annahmen. Sobald ein Agent systemübergreifend Tools nutzen oder Maßnahmen ergreifen kann, muss die Governance berücksichtigen, was der Agent nach der anfänglichen Aufforderung tut. Ein Grundsatzdokument allein kann dieses Verhalten nicht vollständig steuern.

Warum autonome Agenten strengere Kontrollen benötigen

Autonome Agenten benötigen eine Steuerung, die sich an der Handlung orientiert und nicht nur am Modell. Teams müssen wissen, wann ein Agent auf Daten zugreift, welche Tools er verwendet und ob sein Verhalten mit dem genehmigten Anwendungsfall übereinstimmt.

Eine solche Unternehmensführung erfordert mehr als nur eine Checkliste für die Markteinführung. Dies erfordert eine kontinuierliche Transparenz, klare Zuständigkeiten, Identitätskontrollen sowie die Möglichkeit, einen Agenten anzuhalten oder einzuschränken, wenn dessen Verhalten ein Risiko darstellt.

Warum ist eine agentische KI-Governance von Bedeutung?

Die Steuerung agentischer KI ist von Bedeutung, da Autonomie dazu führen kann, dass Fehler sich rasch ausweiten. Verfügt ein Agent über zu weitreichende Zugriffsrechte oder ist der Zweck unklar, kann eine einzige fehlerhafte Anweisung Auswirkungen auf mehr als eine Datei, einen Arbeitsablauf oder einen Benutzer haben.

Dies ist insbesondere in Unternehmensumgebungen von Bedeutung, in denen Mitarbeiter mit sensiblen Daten, Kundensystemen, internen Dokumenten oder regulierten Arbeitsabläufen umgehen. Ohne entsprechende Steuerung wissen Sicherheitsteams möglicherweise erst dann, welche Agenten vorhanden sind, wenn bereits ein Problem aufgetreten ist.

Die Rechenschaftspflicht wird schwieriger

Die Rechenschaftspflicht ist zudem schwieriger zu gewährleisten, wenn Agenten über mehrere Tools hinweg agieren. Wenn ein Mitarbeiter eine Datei freigibt, einen Datensatz aktualisiert oder einen externen Workflow auslöst, müssen die Teams wissen, wer diesen Mitarbeiter autorisiert hat und warum er die Berechtigung zum Handeln hatte.

Ohne diesen Kontext verlaufen die Ermittlungen langsamer und sind weniger zuverlässig. Die Teams können das Ergebnis einsehen, jedoch nicht die Kette von Entscheidungen, die dazu geführt hat.

Rückverfolgbarkeit wird unverzichtbar

Eine solide Unternehmensführung sorgt dafür, dass die Aktivitäten der Beauftragten dokumentiert werden. Es sollte ersichtlich sein, welcher Akteur tätig wurde, welche Identität er dabei verwendete, auf welches System er zugriff und mit welchem menschlichen oder geschäftlichen Prozess er in Verbindung stand.

Diese Rückverfolgbarkeit unterstützt Sicherheitsuntersuchungen, Compliance-Prüfungen und die interne Rechenschaftspflicht. Zudem hilft es Unternehmen dabei, ihre Unternehmensführung im Laufe der Zeit zu verbessern, da die Teams erkennen können, wo tatsächlich Risiken entstehen.

Agentische KI-Governance im Vergleich zur traditionellen KI-Governance

Traditionelle KI-Governance und agentische KI-Governance stehen zwar miteinander in Zusammenhang, sind jedoch nicht austauschbar. Im Rahmen der traditionellen Governance wird die Frage gestellt, ob KI verantwortungsvoll eingesetzt wird. Bei der agentischen Steuerung wird geprüft, ob autonome KI innerhalb des Unternehmens sicher agiert.

Welche Risiken sollte die Governance im Bereich der agentischen KI berücksichtigen?

Bei der Regulierung agentenbasierter KI sollte der Schwerpunkt auf den Risiken liegen, die entstehen, wenn Agenten Zugriffsrechte, Autonomie und unklare Verantwortlichkeiten miteinander verbinden. Die schwerwiegendsten Probleme entstehen häufig durch Agenten, die außerhalb der genehmigten Grenzen tätig sind.

Zu den üblichen Risiken zählen:

• Übermäßige Berechtigungen: Einem Agenten können mehr Zugriffsrechte gewährt werden, als für seine Aufgabe erforderlich sind.
• „Shadow-AI“-Agenten: Mitarbeiter stellen Agenten außerhalb der genehmigten Kanäle bereit oder verbinden sich mit ihnen.
• Offenlegung sensibler Daten: Mitarbeiter rufen vertrauliche Informationen auf, fassen diese zusammen oder geben sie auf unsichere Weise weiter.
• Unklare Zuständigkeiten: Es kann vorkommen, dass Teams nicht wissen, wer nach dem Einsatz für einen Agenten verantwortlich ist.
• Token- und Identitätswucher: API-Schlüssel, Dienstkonten und Token können sich ohne angemessene Kontrolle unkontrolliert vermehren.
• Kaskadenrisiko: Eine riskante Handlung eines Akteurs kann nachgelagerte Auswirkungen in miteinander verbundenen Systemen auslösen.
• Mangelnde Nachvollziehbarkeit: Ohne eindeutige Protokolle haben Teams oft Schwierigkeiten, den Hergang der Ereignisse nachzuvollziehen.

Diese Risiken verdeutlichen, warum eine agentische Steuerung nicht bei der Modellgenehmigung enden darf. Unternehmen benötigen eine Möglichkeit, die gesamte Betriebsumgebung rund um den Agenten zu verwalten, einschließlich Identität, Zugriffskontrolle, Verhalten und Rechenschaftspflicht.

Kernkomponenten eines Governance-Rahmens für agentenbasierte KI

Ein solides Governance-Rahmenwerk ermöglicht es Teams, praktische Kontrolle über agentische KI-Systeme auszuüben, ohne deren verantwortungsvollen Einsatz zu behindern. Das Ziel besteht nicht darin, jeden Anwendungsfall zu verlangsamen. Damit soll sichergestellt werden, dass Agenten sichtbar sind, einer Verantwortlichen zugeordnet werden, überwacht werden und auf das Geschäftsrisiko abgestimmt sind.

Einblick in jeden Mitarbeiter

Grundlage für die Steuerung ist die Kenntnis der vorhandenen Akteure. Sicherheitsteams benötigen einen Überblick über zugelassene Agenten, nicht genehmigte Agenten sowie Agenten, die über externe Tools oder Plattformen verbunden sind.

In diesem Verzeichnis sollte mehr als nur ein Name aufgeführt sein. Teams benötigen ausreichende Hintergrundinformationen, um zu verstehen, wozu der Agent dient, wer dafür verantwortlich ist und ob er mit sensiblen Systemen verbunden ist.

Lebenszykluskontrollen – von der Genehmigung bis zur Außerbetriebnahme

Agenten sollten einen festgelegten Lebenszyklus durchlaufen. Sie sollten vor der Inbetriebnahme überprüft, während des Betriebs überwacht und außer Betrieb genommen werden, sobald sie nicht mehr benötigt werden.

Dadurch wird verhindert, dass Agenten noch lange aktiv bleiben, nachdem sich ihr ursprünglicher Zweck geändert hat. Zudem bietet es den Teams eine standardisierte Methode, um Risiken im Zuge der Ausweitung der geschäftlichen Nutzung neu zu bewerten.

Kontrollen zur Identitätsfeststellung und Rechenschaftspflicht

Jeder Agent sollte über eine eindeutige Identität und einen eindeutigen Eigentümer verfügen. Gemeinsam genutzte Anmeldedaten oder unklare Dienstkonten erschweren es, nachzuvollziehen, was während eines Vorfalls geschehen ist.

Ein besserer Ansatz bindet den Agenten an einen geschäftlichen Zweck, ein zuständiges Team und einen festgelegten Berechtigungskreis. Dadurch lässt sich die Rechenschaftspflicht leichter nachweisen und der Zugang einfacher überprüfen.

Protokollierung von Agentenaktionen

Ein Prüfpfad sollte das Verhalten der Agenten nachvollziehbar machen. Die Teams müssen nachvollziehen können, auf welche Daten der Agent zugegriffen hat, welche Maßnahmen er ergriffen hat und ob diese Aktivitäten mit dem genehmigten Anwendungsfall übereinstimmen.

Diese Nachweise sind bei Untersuchungen von Bedeutung, tragen aber auch zur Reife der Unternehmensführung bei. Im Laufe der Zeit helfen die Prüfungsdaten den Teams dabei, wiederkehrende Muster zu erkennen und die Kontrollmaßnahmen anzupassen.

Identitätsorientierte KI-Governance

Die Identität ist einer der wichtigsten Kontrollpunkte für ein agentisches KI-System. Wenn ein Agent systemübergreifend agieren kann, bestimmt seine Identität, worauf er Zugriff hat und wie viel Schaden er anrichten kann.

Daher spielt die Identitätssteuerung eine zentrale Rolle für die Sicherheit agentenbasierter KI. Agenten sollten nicht allein aufgrund des Vertrauens in einen Benutzer oder ein KI-System umfassende Zugriffsrechte erhalten. Ihr Zugriff sollte konkret festgelegt, begründet und regelmäßig überprüft werden.

Zentrale Identitätskontrollen für KI-Agenten

Eine identitätsorientierte Steuerung sollte die Aktivitäten der Akteure nachvollziehbar und kontrollierbar machen. Zu den wichtigsten Vorgehensweisen gehören:

• Weisen Sie jedem Agenten eine eindeutige Identität zu.
• Ordnen Sie jeden Agenten einem menschlichen Verantwortlichen oder einem Geschäftsprozess zu.
• Beschränken Sie den Zugriff entsprechend dem genehmigten Anwendungsfall.
• Überprüfen Sie die Berechtigungen, sobald sich die Rolle des Agenten ändert.
• Überwachen Sie Dienstkonten, Tokens und API-Schlüssel, die mit der Agentenaktivität verknüpft sind.
• Wenden Sie strengere Kontrollmaßnahmen an, wenn der Mitarbeiter mit sensiblen Daten oder kritischen Arbeitsabläufen in Berührung kommt.

Dieser Ansatz steht in engem Einklang mit dem Zero-Trust-Ansatz. Agenten sollten kontinuierlich anhand ihrer Aktivitäten, ihrer Verbindungen und der Frage überprüft werden, ob ihr Verhalten weiterhin mit ihrem Zweck übereinstimmt.

Wie können Organisationen agentische KI sicher steuern?

Unternehmen können agentische KI sicher steuern, indem sie die Kontrollmaßnahmen an das Risiko des jeweiligen Anwendungsfalls anpassen. Nicht jeder Mitarbeiter benötigt das gleiche Maß an Kontrolle, doch jeder Mitarbeiter benötigt ein gewisses Maß an Transparenz und Rechenschaftspflicht.

Beginnen Sie mit einer risikobasierten Genehmigung

Die Genehmigung sollte davon abhängen, wozu der Wirkstoff in der Lage ist. Ein Mittel mit geringem Risiko, das öffentlich zugängliche Inhalte zusammenfasst, erfordert möglicherweise eine weniger strenge Überprüfung. Ein Agent, der auf Kundendatensätze zugreifen, externe Nachrichten versenden oder Geschäftsabläufe auslösen kann, erfordert strengere Kontrollmaßnahmen.

Eine risikobasierte Genehmigung hilft den Teams, ihre Anstrengungen auf die Bereiche zu konzentrieren, in denen sie am wichtigsten sind. Zudem bietet es Unternehmensanwendern einen klareren Weg zur verantwortungsvollen Einführung von agentischer KI.

Agenten nach der Bereitstellung überwachen

Die Steuerung eines Agenten endet nicht mit dessen Genehmigung. Die Teams sollten das Verhalten der Agenten in realen Arbeitsabläufen beobachten und auf Anzeichen achten, dass ein Agent von seinem vorgesehenen Zweck abweicht.

Dazu könnten beispielsweise ungewöhnliche Tool-Nutzung, unerwartete Datenzugriffe oder Aktivitäten von einem bisher nicht genutzten Zielort gehören. Wenn das Risiko steigt, benötigen Teams Möglichkeiten wie das Anhalten des Agenten, die Einschränkung des Zugriffs, die Einholung einer Genehmigung oder die Eskalation zur Überprüfung.

Was sind bewährte Verfahren für die Steuerung agentischer KI?

Die Steuerung agentischer KI funktioniert am besten, wenn sie praxisorientiert und wiederholbar ist. Teams benötigen Regeln, die konsequent angewendet werden können, ohne dabei so viel Reibung zu verursachen, dass die Nutzer auf Schatten-KI ausweichen.

Zu den empfohlenen Vorgehensweisen gehören:

• Agentenbestände kontinuierlich überwachen: Verfolgen Sie sowohl die genehmigte als auch die nicht genehmigte Nutzung von Agenten im gesamten Unternehmen.
• Zuständigkeit zuweisen: Weisen Sie jedem Mitarbeiter ein bestimmtes Team oder eine bestimmte Person als Verantwortlichen zu.
• Berechtigungen einschränken: Gewähren Sie den Mitarbeitern nur den Zugriff, der für den genehmigten Zweck erforderlich ist.
• Überprüfen Sie die Zugriffsrechte regelmäßig: Passen Sie die Berechtigungen an, wenn sich Arbeitsabläufe, Tools und geschäftliche Anforderungen ändern.
• Verhalten überwachen: Achten Sie auf ungewöhnliche Tool-Aufrufe, Datenzugriffe oder Workflow-Aktivitäten.
• Eingaben der Agenten schützen: Überprüfen Sie die Inhalte, auf die die Agenten zugreifen, insbesondere Dateien, E-Mails, Links und Nachrichten aus der Zusammenarbeit.
• Erstellen Sie prüfungsfähige Aufzeichnungen: Bewahren Sie Nachweise über Genehmigungen, Aktivitäten, Verstöße gegen Richtlinien und Abhilfemaßnahmen auf.
• Nicht mehr benötigte Agenten deaktivieren: Entziehen Sie den Zugriff, wenn ein Agent nicht mehr benötigt wird.

Diese Vorgehensweisen helfen Organisationen dabei, Innovationen zu fördern, ohne dabei die Kontrolle über eigenverantwortliches Handeln zu verlieren.

Wie kann Mimecast zur Unterstützung der Agentic-KI-Governance beitragen?

Mimecast Agentic AI Security unterstützt Unternehmen dabei, KI-Agenten unternehmensweit zu identifizieren, zu bewerten und zu verwalten. Es verschafft Sicherheitsteams Einblick in genehmigte und nicht genehmigte Agent-Aktivitäten, einschließlich „Shadow-AI“- und MCP-Verbindungen.

Zudem stellt es einen Bezug zwischen den Aktivitäten der Agenten und dem menschlichen Kontext her. Das ist von Bedeutung, da das Agentenrisiko nicht nur eine technische Frage ist. Die Teams müssen wissen, wer den Agenten erstellt hat, welchen Geschäftsprozess er unterstützt und ob sein Verhalten mit dem genehmigten Anwendungsfall übereinstimmt.

Mimecast unterstützt die Governance durch Funktionen wie die Erkennung von Agenten, Sanktionsworkflows, Risikobewertung, Durchsetzung der Nutzungsrichtlinien, Governance-Scorecards und Transparenz hinsichtlich der Verbindungen der Agenten. Diese Kontrollmaßnahmen helfen den Teams dabei, den Schritt von der Absicht der Richtlinie zur operativen Überwachung zu vollziehen.

Schaffung von Rahmenbedingungen für die sichere Einführung agentenbasierter KI

Die agentenbasierte KI-Governance bietet Unternehmen die Möglichkeit, autonome KI einzuführen, ohne dabei den Überblick oder die Kontrolle zu verlieren. Es hilft den Teams zu verstehen, welche Agenten vorhanden sind, was diese leisten können, wer für sie verantwortlich ist und wann ein Eingreifen erforderlich ist.

Da die Agenten immer leistungsfähiger werden, muss die Governance über statische Richtlinien hinausgehen. Unternehmen benötigen Kontrollmechanismen, die das Verhalten der Mitarbeiter in Bezug auf Identität, Zugriff, Datenbewegungen und Tool-Nutzung nachverfolgen.

Mimecast Agentic AI Security unterstützt Unternehmen dabei, KI-Agenten zu identifizieren und zu verwalten, bevor nicht genehmigte Aktivitäten Risiken für die Sicherheit, die Compliance oder den Datenschutz verursachen.