- La gouvernance de l'IA agentique aide les organisations à gérer des agents d'IA capables de prendre des décisions, d'utiliser des outils et d'agir au sein de l'ensemble des systèmes d'entreprise.
- La gouvernance traditionnelle de l'IA ne suffit pas pour l'IA agentique, car les agents autonomes génèrent des risques par leurs actions, et pas seulement par leurs résultats.
- Les principales lacunes en matière de gouvernance concernent souvent un manque de clarté quant à la responsabilité, des autorisations excessives, l'IA « fantôme » et une visibilité limitée sur le comportement des agents.
- Une gouvernance solide permet aux équipes d'agréer les agents, de surveiller leur activité, de contrôler les accès et d'intervenir lorsque leur comportement devient risqué.
- La solution Mimecast Agentic AI Security aide les organisations à identifier les agents, à évaluer les risques, à déterminer les responsabilités humaines et à réduire l'exposition liée aux activités d'IA non autorisées.
L'IA agentique passe rapidement du stade expérimental à celui d'une utilisation quotidienne dans le monde des affaires. Ces systèmes ne se contentent plus de répondre à des questions ou de résumer des documents. Ils peuvent se connecter à des outils, récupérer des informations, déclencher des flux de travail et agir au nom des utilisateurs.
Cette évolution pose un nouveau défi en matière de gouvernance. Lorsqu'un agent d'IA intervient, les organisations doivent savoir à qui il appartient, ce qu'il est autorisé à faire et comment l'arrêter si le risque évolue. La gouvernance de l'IA agentique fournit le cadre permettant de répondre à ces questions avant que l'autonomie ne se transforme en risque.
Qu'est-ce que la gouvernance de l'IA agentique ?
La gouvernance de l'IA agentique est le cadre utilisé par les organisations pour gérer les agents d'IA capables d'agir avec un certain degré d'autonomie. Elle définit les modalités d'agrément des agents, les modalités de contrôle de leur accès, ainsi que les modalités de suivi de leur activité une fois qu'ils sont déployés.
L'IA agentique ajoute un niveau de risque supplémentaire, car le système est capable de faire bien plus que simplement générer une réponse. Il peut interagir avec les systèmes d'entreprise et influencer les flux de travail réels.
Cela signifie que la gouvernance doit se rapprocher des activités opérationnelles. Les équipes chargées de la sécurité et de la conformité doivent savoir à quoi chaque agent a accès, quelles actions il peut effectuer et si ces actions s'inscrivent dans le cadre de l'objectif métier approuvé.
En quoi l'IA agentique se distingue-t-elle de l'IA traditionnelle ?
L'IA générative traditionnelle repose généralement sur un être humain pour décider de la suite des événements. Un utilisateur saisit une requête, examine la réponse, puis effectue une action en dehors du modèle.
L'IA agentique modifie cette relation. Un agent peut poursuivre un objectif, décider de la prochaine étape, utiliser des outils et continuer à travailler sur plusieurs systèmes. C'est peut-être encore l'humain qui fixe l'objectif, mais l'agent pourrait se charger d'une plus grande partie de la mise en œuvre.
Principales caractéristiques de l'IA agentique
Les systèmes agentiques comportent généralement des risques, car ils allient autonomie et accès. Parmi les caractéristiques communes, on peut citer :
- Planification en plusieurs étapes : l'agent peut décomposer une requête complexe en plusieurs actions plus simples.
- Exécution persistante : l'agent peut continuer à fonctionner au-delà d'une invite ou d'une session.
- Accès aux outils : l'agent peut se connecter à des applications, des API, des fichiers ou des flux de travail.
- Comportement adaptatif : l'agent peut changer de direction en fonction de nouvelles informations.
- Action autonome : l'agent peut accomplir des tâches sans avoir besoin d'une validation humaine à chaque étape.
Ces capacités génèrent de la valeur pour l'entreprise, mais elles compliquent également la gouvernance. Un chatbot qui donne une mauvaise réponse présente un certain type de risque. Un agent qui accède à des données sensibles, envoie un message ou met à jour un système en crée un tout à fait différent.
Pourquoi les cadres traditionnels de gouvernance de l'IA ne sont pas à la hauteur
Les cadres traditionnels de gouvernance de l'IA ont été conçus pour un modèle d'utilisation de l'IA plus prévisible. Ils partent souvent de quelques hypothèses :
- Ce sont les humains qui approuvent les décisions importantes.
- L'activité liée à l'IA se déroule dans un environnement bien défini.
- Les résultats du modèle constituent la principale source de risque.
- Des révisions peuvent avoir lieu périodiquement.
- L'accès est géré via les contrôles d'accès existants.
L'IA agentique remet en cause ces hypothèses. Dès lors qu'un agent est en mesure d'utiliser des outils ou d'intervenir sur différents systèmes, la gouvernance doit tenir compte de ce que fait cet agent après la demande initiale. Un document d'orientation ne peut à lui seul contrôler entièrement ce comportement.
Pourquoi les agents autonomes ont besoin de contrôles plus stricts
Les agents autonomes ont besoin d'une gouvernance qui s'adapte à l'action, et pas seulement au modèle. Les équipes doivent savoir quand un agent accède aux données, quels outils il utilise et si son comportement correspond au cas d'utilisation approuvé.
Ce type de gouvernance nécessite bien plus qu'une simple liste de contrôle de lancement. Cela nécessite une visibilité permanente, une attribution claire des responsabilités, des contrôles d'identité, ainsi que la possibilité de suspendre ou de restreindre les activités d'un agent lorsque son comportement présente un risque.
Pourquoi la gouvernance de l'IA agentique est-elle importante ?
La gouvernance de l'IA agentique est importante, car l'autonomie peut rapidement amplifier les erreurs. Si un agent dispose d'un accès trop étendu ou si son rôle n'est pas clairement défini, une seule instruction erronée peut avoir des répercussions sur plusieurs fichiers, flux de travail ou utilisateurs.
Cela revêt une importance particulière dans les environnements d'entreprise où les agents traitent des données sensibles, des systèmes clients, des documents internes ou des processus soumis à une réglementation. Sans gouvernance, les équipes de sécurité risquent de ne pas savoir quels agents existent avant qu'un problème ne survienne.
Il devient plus difficile de rendre des comptes
Il est également plus difficile d'assurer la responsabilité lorsque les agents interviennent sur plusieurs outils. Si un agent partage un fichier, met à jour un enregistrement ou déclenche un workflow externe, les équipes doivent savoir qui a autorisé cet agent et pourquoi celui-ci était habilité à agir.
Sans ce contexte, les enquêtes s'en trouvent ralenties et perdent en fiabilité. Les équipes peuvent prendre connaissance du résultat, mais pas de la succession de décisions qui y a conduit.
La traçabilité devient indispensable
Une gouvernance solide permet de conserver une trace des activités des agents. Il devrait indiquer quel agent est intervenu, quelle identité il a utilisée, quel système il a utilisé et à quelle personne ou à quel processus métier il était lié.
Cette traçabilité facilite les enquêtes de sécurité, les contrôles de conformité et la responsabilisation interne. Cela aide également les organisations à améliorer leur gouvernance au fil du temps, car les équipes peuvent identifier les sources réelles de risque.
Gouvernance de l'IA agentique vs gouvernance traditionnelle de l'IA
La gouvernance traditionnelle de l'IA et la gouvernance de l'IA agentique sont liées, mais elles ne sont pas interchangeables. La gouvernance traditionnelle s'interroge sur le caractère responsable de l'utilisation de l'IA. La gouvernance agentique vise à déterminer si l'IA autonome fonctionne en toute sécurité au sein de l'entreprise.
| Gouvernance traditionnelle de l'IA |
Gouvernance de l'IA agentique |
| Met l'accent sur le comportement du modèle et la qualité des résultats |
Met l'accent sur ce que les agents peuvent faire dans l'ensemble des systèmes |
| Part du principe que les êtres humains restent proches de l'action finale |
Comptes destinés aux agents exerçant leurs fonctions sous une supervision limitée |
| Passe en revue les risques tels que les biais, la précision et l'explicabilité |
Ajoute des risques liés à l'accès, aux outils, à l'identité et à l'exécution des flux de travail |
| S'appuie souvent sur des politiques et des examens périodiques |
Nécessite une surveillance continue et des mesures d'intervention |
| Articule la gouvernance autour du modèle |
Étend la gouvernance à l'agent, à son propriétaire et à ses autorisations |
| Évalue le contenu généré |
Évalue le comportement, l'accès et les actions en aval |
| Convient particulièrement aux cas d'utilisation de type « question-réponse » |
Convient à des flux de travail dynamiques, autonomes et faisant appel à des outils |
Quels risques la gouvernance de l'IA agentique doit-elle prendre en compte ?
La gouvernance de l'IA agentique devrait se concentrer sur les risques engendrés lorsque les agents combinent accès, autonomie et responsabilité mal définie. Les problèmes les plus graves proviennent souvent d'agents qui opèrent en dehors des limites autorisées.
Parmi les risques courants, on peut citer :
- Autorisations excessives : un agent peut se voir accorder un accès plus étendu que ne l'exige sa mission.
- Agents IA « fantômes » : des employés déploient ou connectent des agents en dehors des canaux autorisés.
- Exposition de données sensibles : les agents récupèrent, résument ou partagent des informations confidentielles de manière non sécurisée.
- Manque de responsabilité : il arrive que les équipes ne sachent pas qui est responsable d'un agent après son déploiement.
- Prolifération des jetons et des identités : les clés API, les comptes de service et les jetons peuvent se multiplier en l'absence d'une surveillance adéquate.
- Risque en cascade : une action risquée d'un agent peut entraîner des répercussions en aval sur l'ensemble des systèmes interconnectés.
- Manque de traçabilité : en l'absence de journaux clairs, les équipes ont souvent du mal à reconstituer le déroulement des événements.
Ces risques montrent pourquoi la gouvernance agentique ne peut se limiter à l'approbation des modèles. Les organisations ont besoin d'un moyen de gérer l'ensemble de l'environnement d'exploitation autour de l'agent, notamment l'identité, le contrôle d'accès, le comportement et la responsabilité.
Éléments fondamentaux d'un cadre de gouvernance de l'IA agentique
Un cadre de gouvernance solide permet aux équipes d'exercer un contrôle concret sur les systèmes d'IA autonomes sans pour autant entraver leur adoption responsable. L'objectif n'est pas de ralentir chaque cas d'utilisation. L'objectif est de s'assurer que les agents sont identifiables, pris en charge, surveillés et adaptés aux risques de l'entreprise.
Une visibilité sur chaque agent
La gouvernance commence par l'identification des agents existants. Les équipes de sécurité doivent disposer d'une visibilité sur les agents approuvés, les agents non autorisés et les agents connectés via des outils ou des plateformes externes.
Cet inventaire devrait indiquer plus qu'un simple nom. Les équipes ont besoin d'informations suffisantes pour comprendre à quoi sert l'agent, qui en est le responsable et s'il se connecte à des systèmes sensibles.
Contrôles tout au long du cycle de vie, de l'approbation à la mise hors service
Les agents doivent suivre un cycle de vie bien défini. Ils doivent faire l'objet d'un examen avant leur mise en service, être surveillés pendant leur période d'activité et être retirés du service lorsqu'ils ne sont plus nécessaires.
Cela empêche les agents de rester actifs bien après que leur objectif initial a changé. Cela offre également aux équipes une méthode reproductible pour réévaluer les risques à mesure que l'utilisation de l'application se développe.
Contrôles relatifs à l'identité et à la responsabilité
Chaque agent doit avoir une identité bien définie et un propriétaire clairement identifié. Le partage d'identifiants ou l'utilisation de comptes de service mal définis compliquent la compréhension de ce qui s'est passé lors d'un incident.
Une meilleure approche consiste à associer l'agent à un objectif métier, à une équipe responsable et à un ensemble d'autorisations bien défini. Cela facilite la mise en évidence des responsabilités et l'examen des données.
Journal d'audit des actions des agents
Une piste d'audit doit permettre de comprendre le comportement des agents. Les équipes doivent pouvoir voir à quoi l'agent a accédé, quelles actions il a effectuées et si cette activité correspondait au cas d'utilisation approuvé.
Ces éléments de preuve sont importants dans le cadre des enquêtes, mais ils contribuent également à la maturité de la gouvernance. Au fil du temps, les données d'audit aident les équipes à identifier des tendances récurrentes et à adapter leurs contrôles.
Gouvernance de l'IA axée sur l'identité
L'identité constitue l'un des points de contrôle les plus importants pour un système d'IA agentique. Si un agent est capable d'agir sur plusieurs systèmes, c'est son identité qui détermine ce à quoi il peut accéder et l'ampleur des dégâts qu'il peut causer.
C'est pourquoi la gouvernance des identités occupe une place centrale dans la sécurité de l'IA agentique. Les agents ne devraient pas bénéficier d'un accès étendu au seul motif qu'un utilisateur ou un système d'IA est considéré comme fiable. Leur accès doit être précis, justifié et régulièrement réexaminé.
Contrôles fondamentaux de l'identité pour les agents d'IA
Une gouvernance centrée sur l'identité devrait permettre de tracer et de contrôler l'activité des agents. Parmi les pratiques clés, on peut citer :
- Attribuez à chaque agent une identité unique.
- Associez chaque agent à un responsable ou à un processus métier.
- Limitez l'accès en fonction du cas d'utilisation approuvé.
- Vérifiez les autorisations à mesure que le rôle de l'agent évolue.
- Surveillez les comptes de service, les jetons et les clés API liés à l'activité des agents.
- Mettez en place des contrôles plus stricts lorsque l'agent traite des données sensibles ou intervient dans des processus critiques.
Cette approche s'inscrit pleinement dans la philosophie du « Zero Trust ». Les agents doivent faire l'objet d'une vérification continue en fonction de leurs activités, des connexions qu'ils établissent et de la question de savoir si leur comportement correspond toujours à leur objectif.
Comment les organisations peuvent-elles réguler l'IA agentique en toute sécurité ?
Les organisations peuvent réguler l'IA agentique en toute sécurité en adaptant les mesures de contrôle au niveau de risque lié à chaque cas d'utilisation. Tous les agents n'ont pas besoin du même niveau de contrôle, mais chacun d'entre eux doit bénéficier d'un certain niveau de transparence et de responsabilité.
Commencez par une procédure d'approbation fondée sur les risques
L'autorisation devrait dépendre de ce que l'agent est capable de faire. Un agent à faible risque chargé de résumer des contenus publics pourrait ne nécessiter qu'un examen moins approfondi. Un agent capable d'accéder aux dossiers clients, d'envoyer des messages externes ou de déclencher des flux de travail métier nécessite des contrôles plus stricts.
Une procédure d'approbation fondée sur les risques permet aux équipes de concentrer leurs efforts là où cela compte le plus. Cela offre également aux utilisateurs professionnels une voie plus claire pour adopter l'IA agentique de manière responsable.
Suivi des agents après le déploiement
La gestion des agents ne s'arrête pas une fois qu'un agent a été approuvé. Les équipes doivent surveiller le comportement des agents dans le cadre de flux de travail réels et repérer les signes indiquant qu'un agent s'écarte de l'objectif initialement prévu.
Il peut s'agir, par exemple, d'une utilisation inhabituelle d'un outil, d'un accès inattendu à des données ou d'une activité provenant d'une destination qui n'a jamais été utilisée auparavant. Lorsque le risque augmente, les équipes ont besoin de solutions telles que la mise en pause de l'agent, la limitation de l'accès, l'obligation d'obtenir une autorisation ou la transmission à un niveau supérieur pour examen.
Quelles sont les meilleures pratiques en matière de gouvernance de l'IA agentique ?
La gouvernance de l'IA agentique est plus efficace lorsqu'elle est concrète et reproductible. Les équipes ont besoin de règles pouvant être appliquées de manière cohérente, sans pour autant créer trop de frictions qui pousseraient les utilisateurs à se tourner vers une IA parallèle.
Parmi les bonnes pratiques, on peut citer :
- Suivi continu des agents : suivez l'utilisation des agents, qu'ils soient approuvés ou non, à l'échelle de l'organisation.
- Attribuer la responsabilité : désignez une équipe ou une personne spécifique comme responsable de chaque agent.
- Limiter les autorisations : n'accordez aux agents que les droits d'accès nécessaires à l'exercice de leurs fonctions approuvées.
- Vérifiez régulièrement les droits d'accès : réévaluez les autorisations à mesure que les processus, les outils et les besoins de l'entreprise évoluent.
- Surveillez le comportement : soyez attentif à tout appel inhabituel d'outils, à tout accès aux données ou à toute activité inhabituelle au sein du flux de travail.
- Protéger les données saisies par les agents : contrôlez le contenu consulté par les agents, en particulier les fichiers, les e-mails, les liens et les messages de collaboration.
- Créez des registres prêts pour un audit : conservez les preuves des validations, des activités, des violations des politiques et des mesures correctives.
- Supprimer les agents inutilisés : retirez les droits d'accès lorsqu'un agent n'est plus nécessaire.
Ces pratiques aident les organisations à favoriser l'innovation sans pour autant perdre le contrôle sur les activités menées de manière autonome.
Comment Mimecast peut-il contribuer à la gouvernance de l'IA agentique ?
La solution Mimecast Agentic AI Security aide les organisations à recenser, évaluer et gérer les agents d'IA à l'échelle de l'entreprise. Cela permet aux équipes de sécurité d'avoir une visibilité sur les activités des agents autorisés et non autorisés, y compris les connexions « shadow AI » et MCP.
Cela permet également de replacer l'activité des agents dans son contexte humain. Cela est important car le risque lié aux agents n'est pas seulement une question technique. Les équipes doivent savoir qui a créé l'agent, quel processus métier il prend en charge et si son comportement correspond au cas d'utilisation approuvé.
Mimecast facilite la gouvernance grâce à des fonctionnalités telles que la détection des agents, les workflows de sanction, la notation des risques, l'application des règles d'utilisation acceptable, les tableaux de bord de gouvernance et la visibilité sur les connexions des agents. Ces contrôles aident les équipes à passer de l'intention stratégique à la supervision opérationnelle.
Mettre en place une gouvernance pour une adoption sécurisée de l'IA agentique
La gouvernance de l'IA agentique offre aux organisations un moyen d'adopter une IA autonome sans perdre en visibilité ni en contrôle. Cela permet aux équipes de savoir quels agents existent, ce qu’ils peuvent faire, à qui ils appartiennent et quand une intervention est nécessaire.
À mesure que les agents gagnent en capacités, la gouvernance doit aller au-delà des politiques statiques. Les organisations ont besoin de contrôles permettant de suivre le comportement des agents en matière d'identité, d'accès, de circulation des données et d'utilisation des outils.
La solution Mimecast Agentic AI Security aide les organisations à identifier et à contrôler les agents d'IA avant que des activités non autorisées ne génèrent des risques en matière de sécurité, de conformité ou d'exposition des données.
