CTI-REALM: Un benchmark innovador para la generación de reglas de detección con agentes de IA

Introducción a CTI-REALM

CTI-REALM es un benchmark open source presentado por Microsoft para evaluar agentes de inteligencia artificial en un caso de uso muy concreto de ciberseguridad: convertir inteligencia de amenazas cibernéticas, o CTI (Cyber Threat Intelligence), en reglas de detección útiles para equipos de seguridad.

La idea central es medir la capacidad de un agente para trabajar sobre información de amenazas del mundo real y avanzar en un flujo de ingeniería de detección de extremo a extremo. Esto incluye interpretar información técnica, razonar sobre comportamientos maliciosos y producir artefactos de detección que puedan ser evaluados de forma sistemática.

A diferencia de pruebas más generales sobre generación de texto, CTI-REALM se centra en una tarea operativa: la generación de reglas de detección a partir de CTI. Ese matiz es importante, porque en seguridad no basta con que un modelo genere una respuesta plausible; es necesario evaluar si la salida es accionable, verificable y útil para detectar actividad maliciosa.

Por qué importa para la ingeniería de detección

La ingeniería de detección basada en CTI suele requerir varias capacidades combinadas:

• Comprender informes de amenazas, indicadores y descripciones de comportamiento adversario.
• Separar información relevante de detalles contextuales o ambiguos.
• Traducir tácticas, técnicas y procedimientos en lógica de detección.
• Revisar si una regla es demasiado amplia, demasiado estrecha o directamente incorrecta.
• Mantener trazabilidad entre la amenaza descrita y la detección generada.

Los agentes de IA pueden ayudar en partes de este proceso, pero evaluarlos correctamente no es trivial. Un agente puede resumir bien un informe y, aun así, generar una regla poco precisa. También puede producir una consulta sintácticamente válida pero con baja utilidad operativa. CTI-REALM apunta precisamente a ese espacio: evaluar la generación de reglas en un contexto más cercano a la práctica de los equipos de detección.

Microsoft lo presenta como un benchmark para detección de extremo a extremo con agentes de IA, no como un producto de despliegue automático ni como una garantía de que las reglas generadas estén listas para producción sin revisión humana.

Qué evalúa CTI-REALM

Según la publicación de Microsoft Security, CTI-REALM está orientado a evaluar agentes de IA en tareas reales de ingeniería de detección. En términos prácticos, esto implica observar cómo un agente pasa de una entrada de inteligencia de amenazas a una regla o artefacto de detección evaluable.

El valor del benchmark está en que desplaza la evaluación desde preguntas genéricas del tipo “¿puede el modelo explicar una amenaza?” hacia preguntas más operativas:

• ¿Puede el agente identificar los elementos relevantes de un informe CTI?
• ¿Puede transformar esa información en una lógica de detección coherente?
• ¿La regla generada mantiene relación con la amenaza descrita?
• ¿La salida permite una evaluación objetiva frente a criterios definidos?
• ¿El agente conserva suficiente contexto para justificar la detección?

Este enfoque es especialmente relevante para equipos que están explorando agentes de IA en centros de operaciones de seguridad, ingeniería de detección o automatización de flujos de trabajo defensivos.

Lo que no conviene asumir

Aunque CTI-REALM es una iniciativa relevante, conviene evitar algunas interpretaciones excesivas:

• No debe entenderse como una sustitución completa del analista de detección.
• No implica que las reglas generadas por un agente puedan desplegarse sin validación.
• No convierte automáticamente la CTI en detecciones libres de falsos positivos.
• No garantiza compatibilidad directa con cualquier SIEM, EDR o plataforma de seguridad.
• No equivale a un motor de producción para crear y desplegar reglas en entornos empresariales.

El punto fuerte de un benchmark es ofrecer una forma común de evaluar capacidades. La decisión de llevar reglas a producción sigue requiriendo revisión, pruebas, control de cambios y adaptación al entorno concreto de cada organización.

Ejemplo conceptual de flujo

Un flujo típico que CTI-REALM busca representar puede resumirse así:

1. Entrada de inteligencia de amenazas
   El agente recibe información sobre una campaña, técnica, indicador o comportamiento adversario.

2. Extracción de elementos relevantes
   El agente identifica entidades, comportamientos, condiciones observables y posibles señales de detección.

3. Generación de una regla o lógica de detección
   A partir de esos elementos, el agente produce una regla, consulta o representación de detección evaluable.

4. Evaluación del resultado
   La salida se compara con criterios definidos por el benchmark para valorar si la regla generada es correcta, útil y alineada con la amenaza descrita.

Un ejemplo simplificado sería un informe que describe una campaña de phishing con dominios maliciosos y patrones de correo. Un agente podría intentar generar una lógica que busque mensajes que contengan esos dominios o patrones asociados. Sin embargo, en un entorno real habría que revisar la cobertura, el riesgo de falsos positivos, la calidad de los datos disponibles y la adecuación al lenguaje de consulta de la plataforma de seguridad utilizada.

Relación con Microsoft Security y Azure

CTI-REALM se enmarca en el interés creciente por aplicar IA y agentes a tareas de ciberseguridad, especialmente en áreas donde hay mucho trabajo repetitivo, necesidad de correlación y presión por reducir tiempos de respuesta.

Para organizaciones que ya trabajan con tecnologías de Microsoft Security, el concepto resulta relevante porque conecta con casos de uso habituales en SecOps: análisis de amenazas, generación de detecciones, documentación de reglas y asistencia a analistas. Aun así, es importante distinguir entre el benchmark y las capacidades concretas de productos como Microsoft Sentinel, Microsoft Defender o Microsoft Security Copilot.

CTI-REALM sirve para evaluar agentes en generación de reglas de detección. No debe interpretarse, por sí solo, como una integración automática con Microsoft Sentinel ni como una API específica para desplegar reglas. Cualquier uso operativo tendría que implementarse siguiendo las capacidades documentadas de la plataforma elegida y los procesos internos de validación de la organización.

Beneficios potenciales

Usado correctamente, un benchmark de este tipo puede aportar valor en varias áreas:

• Evaluación comparable de agentes: permite medir distintos enfoques bajo una tarea común.
• Mejora de prompts y flujos agentivos: ayuda a detectar dónde falla el agente: comprensión, extracción, generación o justificación.
• Validación de casos de uso en SecOps: facilita separar demos prometedoras de capacidades realmente útiles.
• Apoyo a equipos de detección: puede servir como referencia para diseñar asistentes que aceleren tareas, sin eliminar la revisión humana.
• Mayor rigor en IA aplicada a ciberseguridad: fomenta evaluaciones más cercanas a escenarios operativos y menos dependientes de ejemplos aislados.

Limitaciones y cautelas

La generación de reglas de detección con IA tiene riesgos específicos:

• Una regla puede parecer correcta pero no ejecutarse adecuadamente en la plataforma objetivo.
• Una detección puede depender de fuentes de datos que la organización no recopila.
• Los indicadores de compromiso pueden caducar o generar mucho ruido.
• La lógica puede estar demasiado ajustada al ejemplo y no capturar variantes reales.
• El agente puede introducir supuestos no presentes en la CTI original.

Por eso, la evaluación con CTI-REALM debe verse como una parte del ciclo de calidad, no como un sustituto de pruebas operativas. Antes de usar cualquier regla en producción, conviene revisar sintaxis, semántica, cobertura, impacto en rendimiento, falsos positivos y alineación con el modelo de datos del entorno.

Conclusión

CTI-REALM es una propuesta relevante porque lleva la evaluación de agentes de IA a un terreno muy concreto y exigente: la ingeniería de detección basada en inteligencia de amenazas. Su enfoque de extremo a extremo permite analizar si un agente puede transformar CTI en reglas de detección evaluables, una capacidad con potencial para apoyar a equipos de seguridad si se aplica con controles adecuados.

El mensaje clave es equilibrado: CTI-REALM no convierte automáticamente la IA en un ingeniero de detección autónomo, pero sí ofrece una referencia útil para medir avances reales en este campo. Para arquitectos, responsables de seguridad y equipos SecOps, puede ser una herramienta valiosa para evaluar con más rigor cuándo y cómo incorporar agentes de IA a flujos de detección.