Riesgos de confiar en LLM Open Source para Pentesting en 2026
Publicado el
Introducción a los modelos de lenguaje open source en ciberseguridad
En el ámbito de la ciberseguridad, el uso de modelos de lenguaje (LLM) open source ha cobrado relevancia en los últimos años, similar a lo que ocurrió con las herramientas de detección y respuesta (EDR) hace una década. A pesar de la gran cantidad de publicidad y las afirmaciones espectaculares, la realidad sobre su efectividad es más matizada.
Recientemente, se han mencionado varios modelos prometedores, como VulnLLM-R, Foundation-Sec-8B-Reasoning, CyberSecQwen y Meta-SecAlign, con declaraciones como "supera a Claude" o "es el líder en análisis de código ofensivo". Sin embargo, es fundamental abordar estas afirmaciones con escepticismo.
La evolución de los modelos de lenguaje
En los últimos dieciocho meses, el enfoque en el desarrollo de LLM ha cambiado. En lugar de crear modelos cada vez más grandes, han emergido los Vertical Foundation Models, que son modelos más pequeños, con 7B, 8B o 14B parámetros, diseñados para resolver problemas específicos en ciberseguridad. Esto plantea una pregunta clave: "¿Es conveniente sustituir un modelo generalista como Qwen o DeepSeek por uno especializado?" La respuesta depende del caso de uso particular.
Advertencia sobre los benchmarks
Es esencial tener cuidado con los benchmarks que se encuentran en línea. Muchos de ellos son engañosos, ya que, aunque los datos no son falsos, miden aspectos diferentes. Cuando se afirma que un modelo "supera a GPT-4" o "vence a Claude", a menudo se refiere a benchmarks específicos como CTI-MCQ, ACTI-RC, SecurityBench, o VulnBench. Estos resultados no garantizan que el modelo funcione mejor en una auditoría real. Algunos modelos pueden ser excelentes en programación, pero mediocres al razonar sobre vulnerabilidades complejas. Por ello, es recomendable preguntar qué modelo es el más adecuado para la tarea concreta a realizar.
Principales modelos recomendados
1. Qwen3 / Qwen2.5-Coder Este modelo se ha consolidado como un todoterreno en el ámbito del pentesting. Su entrenamiento masivo en programación le permite entender el código con gran efectividad, destacándose en auditorías de código por su capacidad para: - Seguir correctamente cadenas de llamadas. - Explicar arquitecturas complejas. - Comprender proyectos extensos. - Generar PoCs razonables. - Escribir reglas para herramientas como Semgrep o CodeQL. - Asistir en tareas de reversing. A pesar de no ser un modelo de ciberseguridad específico, su capacidad de razonamiento supera a muchos modelos entrenados para este fin. Sin embargo, carece de entrenamiento en áreas como CTI, ATT&CK o flujos de trabajo en SOC.
2. Foundation-Sec-8B-Reasoning Desarrollado por Cisco, este modelo busca emular el razonamiento de un analista de ciberseguridad. Se ha entrenado con conocimientos específicos de CVE, CWE, MITRE ATT&CK y más. La versión Reasoning incorpora técnicas avanzadas como Supervised Fine-Tuning y Reinforcement Learning from Verifiable Rewards, lo que ha mostrado mejoras en benchmarks específicos. Sin embargo, es importante considerar que estos resultados provienen del propio equipo de desarrollo y aún faltan evaluaciones independientes.
Conclusión
El panorama de los modelos de lenguaje open source para pentesting es prometedor, pero está lleno de matices. Es vital discernir entre el marketing y la efectividad real de cada modelo, considerando siempre el caso de uso específico en ciberseguridad. La elección del modelo adecuado puede marcar la diferencia entre el éxito y el fracaso en las auditorías de seguridad.