El nuevo enfoque del phishing
Los correos de phishing han evolucionado, ahora apuntan no solo a los humanos, sino también a los asistentes de IA. Investigaciones recientes de Barracuda destacan que los atacantes están utilizando instrucciones ocultas en los correos electrónicos para influir tanto en los usuarios como en las herramientas que gestionan sus mensajes.
Cómo funcionan los ataques
Los correos de phishing incluyen, por ejemplo, archivos adjuntos protegidos por contraseña, con la clave incluida en el mismo mensaje. Sin embargo, más preocupante es la inclusión de instrucciones ocultas dirigidas a asistentes de IA. Estas instrucciones pueden manipular cómo el asistente resume o gestiona el contenido del correo.
Por ejemplo, un ataque podría hacer que el asistente describa un correo como urgente, instando al usuario a revisarlo. En otro caso, se podrían añadir acciones prioritarias falsas, como modificar detalles de pago de un proveedor, lo que podría llevar a transferencias de dinero a cuentas de los atacantes.
Inyección de instrucciones: un riesgo inminente
La inyección de instrucciones permite a los atacantes insertar comandos en el material que un sistema de IA debe procesar, esperando que este siga dichas instrucciones. Este tipo de ataque, conocido como inyección indirecta, se presenta a menudo a través de fuentes externas como correos electrónicos o páginas web.
Las instrucciones maliciosas no necesitan ser obvias. Barracuda ha identificado técnicas de ocultamiento que incluyen comentarios en el código HTML del correo, texto invisible mediante estilos o caracteres invisibles. Esto dificulta que un humano detecte la amenaza mientras permite que un sistema de IA procese la información.
Necesidad de defensas internas
La solución a este problema no se limita a la atención del usuario. Es fundamental implementar defensas dentro de las herramientas que procesan los correos. Apollo Raines, desarrollador de ShipItClean, enfatiza que el verdadero fallo radica en que el modelo de IA no distingue entre el texto que debe leer y las instrucciones que debe seguir. Por ello, es vital eliminar el contenido oculto antes de que llegue al modelo.
Precauciones necesarias
Un asistente que resume mensajes puede llevar al usuario a decisiones incorrectas sobre qué correos requieren atención. Además, si el asistente tiene permisos amplios, podría ejecutar acciones no autorizadas o revelar información sensible. Por lo tanto, es crucial que los usuarios evalúen qué confianza depositan en sus asistentes de IA y qué permisos les otorgan.
La recomendación habitual sobre el phishing sigue vigente: al actuar sobre las recomendaciones de un asistente, siempre verificar el mensaje original. Si un resumen invita a realizar un pago, modificar detalles de cuenta o compartir información sensible, no se debe considerar el resumen como verificación.
Limitaciones y aprobaciones
Es esencial limitar los permisos de los asistentes de IA a lo que realmente se necesita, especialmente en el entorno laboral, donde las organizaciones deben establecer restricciones claras. Un asistente que solo resume correos no debería tener autoridad para ejecutar acciones no relacionadas.
Además, se deben requerir aprobaciones humanas para acciones de alto impacto, como pagos o cambios en detalles de facturación. Esta aprobación debería incluir la revisión de la solicitud subyacente, no simplemente aceptar la recomendación del asistente.
Conclusión
La ciberseguridad es un campo en constante evolución, y el phishing representa un riesgo significativo que se adapta a las nuevas tecnologías. Protegerse contra estas amenazas requiere no solo la vigilancia del usuario, sino también medidas adecuadas en las herramientas que utilizan. Mantenerse informado y adoptar prácticas de seguridad rigurosas es esencial para mitigar estos riesgos.