Vulnerabilidad en agentes de IA permite ejecutar código malicioso
Publicado el
Introducción
Un reciente estudio ha revelado que algunos agentes de inteligencia artificial diseñados para identificar código malicioso pueden ser engañados para ejecutar dicho código. Este hallazgo proviene de una prueba de concepto publicada por el AI Now Institute, la cual ha sido etiquetada como 'Friendly Fire'.
Funcionamiento del ataque
El ataque aprovecha las funciones autónomas de herramientas como Claude Code de Anthropic y OpenAI Codex. Cuando estas herramientas operan en un modo que aprueba sus propios comandos sin intervención humana, se convierten en un vector de ataque. En lugar de detectar vulnerabilidades en el código de terceros, el agente puede ejecutar código malicioso en la máquina del usuario.
Los investigadores Boyan Milanov y Heidy Khlaaf realizaron pruebas en configuraciones específicas de estas herramientas, activando el modo autónomo en versiones de Claude Code y Codex. Ambos sistemas utilizan un clasificador para ejecutar comandos que consideran seguros, solo deteniéndose ante aquellos que identifican como arriesgados.
Método del ataque
El ataque implica añadir archivos adicionales a una biblioteca de código abierto. En la demostración, se utilizó geopy, una biblioteca popular de Python, aunque los investigadores señalan que este método puede aplicarse a casi cualquier proyecto. La clave del ataque es un script llamado security.sh, que se sugiere ejecutar antes de abrir una solicitud de extracción (pull request). Este script lanza un binario oculto que contiene la carga útil del ataque.
Para eludir las comprobaciones de seguridad, el binario malicioso se disfraza como un archivo de compilación inofensivo, lo que le permite evadir el análisis del agente. El agente, al leer el archivo README.md, asume que el script es parte de la tarea y lo ejecuta sin más verificaciones. Como resultado, el código malicioso se ejecuta en el host sin advertencias ni confirmaciones.
Riesgos y recomendaciones
Este tipo de ataque representa un riesgo significativo, ya que es capaz de eludir las defensas de los agentes de IA, que previamente habían bloqueado intentos más toscos de inyección de código. Debido a que el ataque se esconde en un archivo de texto común, como README.md, no se generan alertas de confianza ni se requieren accesos elevados, facilitando así una apertura más amplia para los atacantes.
La investigación también destaca que Anthropic ha lanzado parches para contrarrestar inyecciones de archivos de configuración en los últimos meses, pero este ataque evita esas protecciones. La conclusión de AI Now es que la debilidad radica en el diseño y no en la versión del software, lo que implica que la solución requiere un cambio en los flujos de trabajo en lugar de una simple actualización.
Implicaciones para la seguridad
Los hallazgos tienen implicaciones serias para los responsables de la formulación de políticas y los proveedores de tecnología, ya que se están integrando rápidamente los agentes de IA en funciones de seguridad defensiva. A pesar de que este ataque aún se considera una prueba de concepto en el laboratorio y no se ha informado de explotación en entornos reales, la posibilidad de que ataques similares puedan ocurrir en el futuro es alarmante.
Los investigadores han informado a Anthropic y OpenAI sobre sus hallazgos, que se encuentran fuera de los programas formales de divulgación de ambas compañías. Este tipo de vulnerabilidad no es nuevo, ya que ataques anteriores como 'TrustFall' y 'Agentjacking' han utilizado técnicas similares para comprometer agentes de IA.
Conclusión
El riesgo de que texto no confiable llegue a un agente que puede ejecutar comandos es una preocupación constante en el ámbito de la ciberseguridad. Es esencial que tanto los desarrolladores como los usuarios de herramientas de IA sean conscientes de estas vulnerabilidades y tomen medidas proactivas para mitigarlas.