Red Teaming (IA)

El red teaming designa el examen adversarial estructurado de un sistema de IA, en el que un equipo busca de forma deliberada vulnerabilidades, escenarios de abuso y fallos de seguridad antes de que los exploten atacantes reales.

Qué es Red Teaming (IA)?

Se distinguen tres niveles: red teaming del modelo (entradas contra el modelo), red teaming de aplicacion (contra el sistema completo con herramientas, datos e identidad) y red teaming sociotecnico (con expertos de negocio, por ejemplo cumplimiento o medicos). El articulo 55 de la Ley de IA de la UE exige para modelos de uso general con riesgo sistemico pruebas adversariales que incluyen red teaming.

Cómo se aplica Red Teaming (IA) en la IA empresarial?

Aplicamos red teaming en dos fases: antes de la fase piloto (modelo de amenazas, recogida de escenarios) y antes de produccion (suite adversarial automatizada y manual). Los resultados se anclan en el harness de evaluacion como pruebas de regresion. NIST y MITRE ATLAS aportan la taxonomia.