- La gobernanza de la IA agentiva ayuda a las organizaciones a gestionar agentes de IA capaces de tomar decisiones, utilizar herramientas y actuar en los distintos sistemas empresariales.
- La gobernanza tradicional de la IA no es suficiente para la IA con capacidad de agencia, ya que los agentes autónomos generan riesgos a través de sus acciones, y no solo a través de sus resultados.
- Las principales deficiencias en materia de gobernanza suelen estar relacionadas con una atribución de responsabilidades poco clara, permisos excesivos, la «IA en la sombra» y una visibilidad limitada del comportamiento de los agentes.
- Una gestión sólida permite a los equipos autorizar a los agentes, supervisar su actividad, controlar el acceso e intervenir cuando su comportamiento se vuelve arriesgado.
- Mimecast Agentic AI Security ayuda a las organizaciones a detectar agentes, evaluar riesgos, identificar a los responsables y reducir la exposición derivada de actividades de IA no autorizadas.
La IA agencial está pasando rápidamente de la fase experimental al uso cotidiano en las empresas. Estos sistemas ya no se limitan a responder preguntas o a resumir documentos. Pueden conectarse a herramientas, recuperar información, activar flujos de trabajo y actuar en nombre de los usuarios.
Ese cambio plantea un nuevo reto en materia de gobernanza. Cuando un agente de inteligencia artificial lleva a cabo una acción, las organizaciones deben saber quién es el responsable del mismo, qué está autorizado a hacer y cómo detenerlo en caso de que el riesgo cambie. La gobernanza de la IA agencial proporciona la estructura necesaria para responder a esas preguntas antes de que la autonomía se convierta en un riesgo.
¿Qué es la gobernanza de la IA agencial?
La gobernanza de la IA agentiva es el marco que utilizan las organizaciones para gestionar los agentes de IA capaces de actuar con cierto grado de independencia. En él se define cómo se aprueban los agentes, cómo se controla su acceso y cómo se supervisa su actividad una vez que se han puesto en marcha.
La IA agentiva añade otro nivel de riesgo, ya que el sistema es capaz de hacer algo más que generar una respuesta. Puede interactuar con los sistemas de la empresa e influir en los flujos de trabajo reales.
Esto significa que la gestión debe acercarse más a las operaciones. Los equipos de seguridad y cumplimiento normativo deben comprender a qué tiene acceso cada agente, qué acciones puede llevar a cabo y si dichas acciones se ajustan al objetivo empresarial autorizado.
¿En qué se diferencia la IA agentiva de la IA tradicional?
La IA generativa tradicional suele depender de una persona para decidir qué ocurre a continuación. Un usuario introduce una consulta, revisa la respuesta y lleva a cabo una acción fuera del modelo.
La IA agentiva transforma esa relación. Un agente puede perseguir un objetivo, decidir cuál es el siguiente paso, utilizar herramientas y seguir trabajando en varios sistemas. Es posible que el ser humano siga fijando el objetivo, pero el agente podría encargarse de una mayor parte de la ejecución.
Características clave de la IA agentiva
Los sistemas agentivos suelen entrañar riesgos, ya que combinan la autonomía con el acceso. Entre las características comunes se incluyen:
- Planificación en varias etapas: el agente puede dividir una solicitud más amplia en acciones más pequeñas.
- Ejecución persistente: El agente puede seguir trabajando más allá de una solicitud o sesión.
- Acceso a herramientas: El agente puede conectarse a aplicaciones, API, archivos o flujos de trabajo.
- Comportamiento adaptativo: El agente puede cambiar de dirección en función de la información nueva.
- Acción independiente: El agente puede realizar tareas sin necesidad de aprobación humana en cada paso.
Estas capacidades aportan valor empresarial, pero también hacen que la gobernanza resulte más compleja. Un chatbot que ofrece una respuesta deficiente supone un tipo de riesgo. Un agente que accede a datos confidenciales, envía un mensaje o actualiza un sistema genera una situación muy diferente.
Por qué los marcos tradicionales de gobernanza de la IA se quedan cortos
Los marcos tradicionales de gobernanza de la IA se diseñaron para un modelo de uso de la IA más predecible. A menudo parten de una serie de supuestos:
- Las personas aprueban las decisiones importantes.
- La actividad de la IA se desarrolla en un entorno definido.
- Los resultados del modelo constituyen la principal fuente de riesgo.
- Las revisiones pueden realizarse periódicamente.
- El acceso se gestiona mediante los controles de usuario existentes.
La IA agentiva pone en entredicho estas suposiciones. Una vez que un agente puede utilizar herramientas o llevar a cabo acciones en distintos sistemas, la gobernanza debe tener en cuenta lo que hace el agente tras la indicación inicial. Un documento normativo no puede controlar por sí solo ese comportamiento en su totalidad.
Por qué los agentes autónomos necesitan controles más estrictos
Los agentes autónomos necesitan un sistema de gobernanza que se ajuste a la acción, y no solo al modelo. Los equipos deben saber cuándo un agente accede a los datos, qué herramientas utiliza y si su comportamiento se ajusta al caso de uso aprobado.
Ese tipo de gestión requiere algo más que una lista de comprobación previa al lanzamiento. Requiere una visibilidad continua, una atribución clara de responsabilidades, controles de identidad y la capacidad de suspender o restringir a un agente cuando su comportamiento suponga un riesgo.
¿Por qué es importante la gobernanza de la IA agentiva?
La gobernanza de la IA agentiva es importante porque la autonomía puede multiplicar los errores rápidamente. Si un agente dispone de un acceso excesivo o su finalidad no está clara, una sola instrucción errónea puede afectar a más de un archivo, flujo de trabajo o usuario.
Esto reviste especial importancia en entornos empresariales en los que los agentes interactúan con datos confidenciales, sistemas de clientes, documentos internos o flujos de trabajo regulados. Sin una gestión adecuada, es posible que los equipos de seguridad no sepan qué agentes existen hasta que surja algún problema.
La rendición de cuentas se complica
La rendición de cuentas también resulta más difícil cuando los agentes utilizan varias herramientas. Si un agente comparte un archivo, actualiza un registro o activa un flujo de trabajo externo, los equipos deben saber quién autorizó a dicho agente y por qué tenía permiso para actuar.
Sin ese contexto, las investigaciones se ralentizan y pierden fiabilidad. Los equipos pueden ver el resultado, pero no la cadena de decisiones que lo ha determinado.
La trazabilidad se convierte en algo esencial
Una buena gobernanza genera un registro de la actividad de los agentes. Debería indicar qué agente actuó, qué identidad utilizó, a qué sistema accedió y con qué proceso humano o empresarial estaba conectado.
Dicha trazabilidad contribuye a las investigaciones de seguridad, a las revisiones de cumplimiento normativo y a la rendición de cuentas interna. Además, ayuda a las organizaciones a mejorar su gobernanza con el paso del tiempo, ya que los equipos pueden detectar dónde surgen realmente los riesgos.
Gobernanza de la IA agencial frente a la gobernanza tradicional de la IA
La gobernanza tradicional de la IA y la gobernanza de la IA con capacidad de agencia están relacionadas, pero no son intercambiables. La gobernanza tradicional se pregunta si la IA se está utilizando de forma responsable. La gobernanza agencial se pregunta si la IA autónoma actúa de forma segura dentro de la empresa.
| Gobernanza tradicional de la IA |
Gobernanza de la IA agentiva |
| Se centra en el comportamiento del modelo y en la calidad de los resultados |
Se centra en lo que los agentes pueden hacer en los distintos sistemas |
| Se parte de la base de que los seres humanos permanecen cerca de la acción final |
Cuentas para agentes que actúan bajo supervisión limitada |
| Analiza riesgos como el sesgo, la precisión y la explicabilidad |
Añade riesgos relacionados con el acceso, las herramientas, la identidad y la ejecución de los flujos de trabajo |
| A menudo se basa en políticas y revisiones periódicas |
Requiere una supervisión continua y medidas de control |
| Centra la gobernanza en torno al modelo |
Amplía la gobernanza al agente, a su propietario y a sus permisos |
| Evalúa el contenido generado |
Evalúa el comportamiento, el acceso y las acciones posteriores |
| Funciona mejor en casos de uso de tipo «pregunta y respuesta» |
Se adapta a flujos de trabajo dinámicos, autónomos y en los que se utilizan herramientas |
¿Qué riesgos debe abordar la gobernanza de la IA agentiva?
La gobernanza de la IA agentiva debería centrarse en los riesgos que surgen cuando los agentes combinan acceso, autonomía y una responsabilidad poco clara. Los problemas más graves suelen deberse a agentes que actúan fuera de los límites autorizados.
Entre los riesgos más comunes se encuentran:
- Permisos excesivos: es posible que se conceda a un agente un nivel de acceso superior al que requiere su tarea.
- Agentes de IA «en la sombra»: los empleados instalan o conectan agentes fuera de los canales autorizados.
- Exposición de datos sensibles: Los agentes recuperan, resumen o comparten información confidencial de forma insegura.
- Falta de responsabilidad: Es posible que los equipos no sepan quién es el responsable de un agente tras su despliegue.
- Proliferación de tokens e identidades: las claves API, las cuentas de servicio y los tokens pueden multiplicarse sin una supervisión adecuada.
- Riesgo en cadena: una acción arriesgada por parte de un agente puede desencadenar efectos en cadena en los sistemas conectados.
- Escasa capacidad de auditoría: sin registros claros, a los equipos les suele resultar difícil reconstruir lo que ha ocurrido.
Estos riesgos ponen de manifiesto por qué la gobernanza basada en agentes no puede limitarse a la aprobación de modelos. Las organizaciones necesitan una forma de gestionar todo el entorno operativo en torno al agente, incluyendo la identidad, el control de acceso, el comportamiento y la rendición de cuentas.
Componentes fundamentales de un marco de gobernanza de la IA agentiva
Un marco de gobernanza sólido proporciona a los equipos un control práctico sobre los sistemas de IA con capacidad de acción, sin obstaculizar su adopción responsable. El objetivo no es ralentizar todos los casos de uso. El objetivo es garantizar que los agentes sean visibles, estén asignados a un responsable, se supervisen y estén en consonancia con el riesgo empresarial.
Visibilidad sobre cada agente
La gobernanza comienza por saber qué agentes existen. Los equipos de seguridad necesitan tener una visión clara de los agentes autorizados, los agentes no autorizados y los agentes conectados a través de herramientas o plataformas externas.
Este inventario debería incluir algo más que un nombre. Los equipos necesitan suficiente información contextual para comprender para qué se utiliza el agente, quién es su responsable y si se conecta a sistemas sensibles.
Controles del ciclo de vida, desde la aprobación hasta la retirada
Los agentes deben seguir un ciclo de vida definido. Deben revisarse antes de su puesta en marcha, supervisarse mientras estén en funcionamiento y retirarse cuando ya no sean necesarios.
Esto evita que los agentes sigan activos mucho tiempo después de que su finalidad original haya cambiado. Además, ofrece a los equipos un método sistemático para reevaluar los riesgos a medida que se amplía el uso empresarial.
Controles de identidad y rendición de cuentas
Cada agente debe tener una identidad clara y un responsable claro. Las credenciales compartidas o las cuentas de servicio poco claras dificultan la comprensión de lo que ocurrió durante un incidente.
Un enfoque más adecuado vincula al agente a un objetivo empresarial, a un equipo responsable y a un conjunto de permisos bien definido. De este modo, resulta más sencillo demostrar la rendición de cuentas y revisar el acceso.
Registro de auditoría de las acciones de los agentes
Un registro de auditoría debe permitir comprender el comportamiento de los agentes. Los equipos deben poder comprobar a qué ha accedido el agente, qué acción ha realizado y si dicha actividad se ajusta al caso de uso aprobado.
Estas pruebas son importantes durante las investigaciones, pero también contribuyen a la madurez en materia de gobernanza. Con el tiempo, los datos de auditoría ayudan a los equipos a identificar patrones recurrentes y a ajustar los controles.
Gobernanza de la IA centrada en la identidad
La identidad es uno de los puntos de control más importantes para un sistema de IA con capacidad de agencia. Si un agente puede actuar en distintos sistemas, su identidad determina a qué puede acceder y cuánto daño puede causar.
Esto hace que la gestión de identidades sea un elemento fundamental para la seguridad de la IA autónoma. Los agentes no deben gozar de un acceso amplio por el mero hecho de que se confíe en un usuario o en un sistema de inteligencia artificial. Su acceso debe ser específico, estar justificado y revisarse periódicamente.
Controles fundamentales de identidad para agentes de IA
La gobernanza centrada en la identidad debería permitir que la actividad de los agentes sea rastreable y esté controlada. Entre las prácticas clave se incluyen:
- Asigne a cada agente una identidad única.
- Asigne cada agente a un responsable o a un proceso empresarial.
- Limite el acceso en función del caso de uso aprobado.
- Revise los permisos a medida que cambie la función del agente.
- Supervise las cuentas de servicio, los tokens y las claves de API vinculadas a la actividad de los agentes.
- Aplique controles más estrictos cuando el agente tenga acceso a datos sensibles o a flujos de trabajo críticos.
Este enfoque se ajusta estrechamente al modelo «Zero Trust». Los agentes deben someterse a una verificación continua en función de lo que hacen, con qué elementos se conectan y si su comportamiento sigue siendo acorde con su finalidad.
¿Cómo pueden las organizaciones gestionar de forma segura la IA agentiva?
Las organizaciones pueden gestionar la IA autónoma de forma segura adaptando los controles al riesgo que entraña cada caso de uso. No todos los agentes necesitan el mismo nivel de supervisión, pero todos ellos necesitan cierto grado de transparencia y responsabilidad.
Comience con una aprobación basada en el riesgo
La aprobación debería depender de lo que el agente sea capaz de hacer. Un agente de bajo riesgo que resuma contenidos públicos podría requerir una revisión menos exhaustiva. Un agente que pueda acceder a los registros de los clientes, enviar mensajes externos o activar flujos de trabajo empresariales requiere controles más estrictos.
La aprobación basada en el riesgo ayuda a los equipos a centrar sus esfuerzos en lo que más importa. Además, ofrece a los usuarios empresariales una vía más clara para adoptar la IA con capacidad de acción de forma responsable.
Supervisar los agentes tras la implementación
La gestión de los agentes no finaliza una vez que se ha aprobado a un agente. Los equipos deben supervisar el comportamiento de los agentes en los flujos de trabajo reales y estar atentos a cualquier indicio de que el agente se esté desviando de su finalidad prevista.
Esto podría incluir un uso inusual de herramientas, un acceso inesperado a datos o una actividad procedente de un destino que no se haya utilizado anteriormente. Cuando el riesgo aumenta, los equipos necesitan opciones como poner en pausa al agente, limitar el acceso, exigir una autorización o remitir el asunto a un nivel superior para su revisión.
¿Cuáles son las mejores prácticas en materia de gobernanza de la IA agentiva?
La gobernanza de la IA agencial funciona mejor cuando es práctica y repetible. Los equipos necesitan normas que puedan aplicarse de forma coherente sin generar tanta fricción que los usuarios acaben recurriendo a la IA en la sombra.
Entre las prácticas recomendadas se incluyen:
- Supervisar continuamente los agentes de inventario: Realice un seguimiento del uso de los agentes, tanto aprobados como no aprobados, en toda la organización.
- Asignar responsabilidad: Asigne la responsabilidad de cada agente a un equipo o a una persona concretos.
- Limitar los permisos: Conceda a los agentes únicamente el acceso necesario para la finalidad autorizada.
- Revise los accesos periódicamente: reevalúe los permisos a medida que cambien los flujos de trabajo, las herramientas y las necesidades de la empresa.
- Supervise el comportamiento: esté atento a llamadas inusuales a herramientas, accesos a datos o actividades del flujo de trabajo.
- Proteja los datos introducidos por los agentes: inspeccione el contenido que consumen los agentes, especialmente archivos, correos electrónicos, enlaces y mensajes de colaboración.
- Elabore registros aptos para una auditoría: conserve pruebas de las aprobaciones, las actividades, las infracciones de las políticas y las medidas correctoras.
- Retirar los agentes que no se utilicen: Retirar el acceso cuando ya no se necesite un agente.
Estas prácticas ayudan a las organizaciones a fomentar la innovación sin perder el control sobre las actividades autónomas.
¿Cómo puede Mimecast contribuir a la gobernanza de la IA agentiva?
Mimecast Agentic AI Security ayuda a las organizaciones a identificar, evaluar y gestionar los agentes de IA en toda la empresa. Ofrece a los equipos de seguridad visibilidad sobre la actividad de los agentes autorizados y no autorizados, incluidas las conexiones de «IA en la sombra» y MCP.
Además, vincula la actividad de los agentes con el contexto humano. Esto es importante porque el riesgo asociado a los agentes no es solo una cuestión técnica. Los equipos deben saber quién ha creado el agente, a qué proceso empresarial da soporte y si su comportamiento se ajusta al caso de uso aprobado.
Mimecast facilita la gobernanza mediante funciones como la detección de agentes, los flujos de trabajo de sanciones, la puntuación de riesgos, la aplicación de las normas de uso aceptable, los cuadros de mando de gobernanza y la visibilidad de las conexiones de los agentes. Estos controles ayudan a los equipos a pasar de la intención normativa a la supervisión operativa.
Establecimiento de mecanismos de gobernanza para una adopción segura de la IA agentiva
La gobernanza de la IA agentiva ofrece a las organizaciones una forma de adoptar la IA autónoma sin perder visibilidad ni control. Ayuda a los equipos a comprender qué agentes existen, qué pueden hacer, quién es su responsable y cuándo es necesaria una intervención.
A medida que los agentes adquieren mayores capacidades, la gobernanza debe ir más allá de las políticas estáticas. Las organizaciones necesitan controles que supervisen el comportamiento de los agentes en lo que respecta a la identidad, el acceso, el movimiento de datos y el uso de herramientas.
La solución Mimecast Agentic AI Security ayuda a las organizaciones a detectar y gestionar los agentes de IA antes de que cualquier actividad no autorizada genere riesgos para la seguridad, el cumplimiento normativo o la exposición de datos.
