La necesidad de controlar los agentes de IA para prevenir riesgos de seguridad
Publicado el
La evolución de la seguridad de los agentes de IA
La seguridad de los agentes de IA atraviesa una curva de madurez familiar: adopción, visibilidad y finalmente, control. Sin embargo, se ha descubierto que implementar el principio de privilegio mínimo para estos agentes resulta más complicado de lo que se pensaba. Existen múltiples enfoques, desde el filtrado de mensajes hasta controles de acceso basados en identidad, pero todos convergen en un punto: comprender la intención de los agentes de IA es esencial para garantizar su seguridad.
La importancia de la visibilidad
Las organizaciones enfrentan este desafío con distintos niveles de sofisticación. Para muchas, el objetivo actual es identificar los agentes de IA que ya operan en sus sistemas. Este es un paso necesario, ya que los agentes de IA están presentes en plataformas SaaS, entornos de desarrollo, flujos de trabajo en la nube, sistemas de soporte al cliente y herramientas de productividad. Algunos son autorizados, mientras que otros no. Sin embargo, la simple descubribilidad no es suficiente. Los agentes de IA no son pasivos; razonan, planifican, utilizan herramientas, invocan APIs, acceden a datos y toman decisiones sin intervención humana.
El verdadero riesgo no radica en tener demasiados agentes, sino en que estos pueden operar en distintos sistemas sin una identidad, intención, propiedad y aplicación de controles consistentes. Además, hay diferentes tipos de agentes de IA, cada uno requiriendo un enfoque de seguridad distinto.
La trampa de la visibilidad
La mayoría de los programas de seguridad comienzan con la pregunta: "¿Qué tenemos?" Esto es válido para la nube, SaaS, endpoints, identidades y vulnerabilidades, y también se aplica a los agentes de IA. Sin embargo, el riesgo de limitarse a la visibilidad para estos agentes es mayor que en otros entornos, debido a la rapidez con la que se crean, a lo que pueden acceder y a cómo se pueden compartir. Un inventario de agentes de IA que no se vincule con la aplicación de controles se convierte en una simple lista de activos estáticos. Aunque se identifique que un agente existe, no se puede determinar si su acceso es adecuado, si su comportamiento coincide con su propósito, o cuándo deben revocarse sus permisos.
La visibilidad sin aplicación de controles puede generar una confianza peligrosa, haciendo que parezca que se tiene el control cuando la realidad puede ser muy diferente.
La naturaleza dinámica de los agentes de IA
Los modelos de acceso tradicionales asumen cierto nivel de previsibilidad. La gestión de identidades y accesos humanos es más sencilla, ya que cada persona tiene una función laboral definida. La gestión de identidades no humanas o de máquinas es más compleja, pero una cuenta de servicio aún respalda una carga de trabajo específica. Sin embargo, los agentes de IA son dinámicos y su funcionamiento se basa más en un objetivo que en un flujo de trabajo fijo. Pueden interpretar instrucciones, llamar a diferentes herramientas y adaptar sus acciones según el contexto.
Dos agentes con permisos similares pueden tener perfiles de riesgo muy diferentes, dependiendo de lo que cada uno intente lograr. Por lo tanto, los controles de acceso estáticos no son suficientes, ya que los agentes de IA pueden utilizarse de maneras no anticipadas en el momento en que se les otorgó acceso. La cuestión no siempre es el comportamiento malicioso, sino la ambigüedad que puede representar un riesgo, como una tarea que se expande más allá de su propósito original.
La pregunta que deben plantearse los equipos de seguridad no es solo "¿a qué puede acceder este agente?", sino también: "¿qué debería poder hacer este agente, bajo estas condiciones, para este propósito?" Esta es una cuestión de aplicación de controles.
La necesidad de una mejor comprensión para la aplicación de controles
La aplicación efectiva de controles sobre los agentes de IA no puede añadirse a un inventario básico y no contextual. Los equipos de seguridad deben correlacionar información sobre propietarios, consumidores, identidades, sistemas, permisos e intenciones antes de poder definir controles significativos. Esto implica comprender un agente en varias dimensiones:
- Propiedad: ¿Quién es el propietario del agente? - Consumidores: ¿Quién utiliza el agente? - Identidad: ¿Qué identidades, tokens, secretos, y cuentas de servicio utiliza el agente? - Intención: ¿Qué se supone que debe lograr el agente? - Acceso: ¿A qué sistemas, aplicaciones, bases de datos, APIs e infraestructura puede llegar? - Uso: ¿Qué ha hecho realmente el agente y con qué frecuencia? - Origen: ¿Cómo fue creado el agente? - Ciclo de vida: ¿Está el agente activo, inactivo o ya no está vinculado a su propósito original?
Muchas organizaciones enfrentan dificultades en este punto, ya que el contexto del agente está disperso. Los datos de identidad se almacenan en un lugar, los permisos en la nube en otro, y las integraciones SaaS tienen sus propios modelos. Sin una correlación adecuada, la aplicación de controles se convierte en una tarea de adivinanza, lo que puede acarrear serios problemas de seguridad.