La banca europea opera modelos cuantitativos bajo un marco maduro: SR 11-7 de la Reserva Federal como referencia internacional, las directrices de la EBA sobre gobierno interno y la guía del Banco de España. Los modelos de IA encajan en ese marco como modelos más, con dos capas adicionales: la específica de IA generativa y la regulatoria de la Ley de IA de la UE.
El estándar SR 11-7 fija tres principios. Definición amplia de modelo (cualquier método cuantitativo o estadístico que produce estimaciones). Gestión de riesgos por todo el ciclo de vida (desarrollo, validación, uso, monitorización, retirada). Validación independiente con autoridad para bloquear el despliegue. La EBA y el Banco de España acogen estos principios en sus directrices supervisoras.
La estructura típica en un banco europeo cubre tres líneas. Negocio que desarrolla y opera. Riesgos que valida independientemente. Auditoría interna que revisa el funcionamiento del marco. Comité de modelos con representación senior decide despliegues, retiradas y excepciones.
Tres aspectos cambian. Definición de "salida del modelo": deja de ser un número y pasa a ser texto libre, lo que complica la métrica de calidad. Reproducibilidad: la temperatura no nula y la dependencia del prompt introducen varianza, lo que obliga a fijar versiones de prompt como parte del modelo. Datos de entrenamiento: el modelo base lo entrena el proveedor, pero el banco puede afinarlo o aplicar RAG, lo que introduce dependencias adicionales.
La práctica que funciona: tratar prompt + RAG + modelo base + parámetros como una unidad versionada. Cada cambio en cualquiera de los componentes activa revalidación. Las métricas combinan precisión por tarea (con conjunto dorado), métricas de fundamentación (la cita coincide con la fuente), latencia y coste.
El validador independiente revisa cinco bloques. Datos: origen, calidad, sesgo, representatividad, ciclo de vida. Metodología: justificación de la elección de modelo base, técnica de afinamiento o RAG, parámetros de generación. Pruebas: harness de evaluación con conjunto dorado anotado por expertos, robustez adversaria, equidad. Limitaciones documentadas: casos donde el sistema no debe usarse. Plan de monitorización post-despliegue.
Para modelos de alto riesgo bajo la Ley de IA, este expediente cubre directamente la documentación técnica del Anexo IV. El esfuerzo de validación se reutiliza como evidencia regulatoria. Sin esa intersección, el banco hace dos veces el mismo trabajo.
Cuatro familias de métricas. Deriva de entradas: distribución de prompts, fuentes recuperadas, características del usuario. Deriva de salidas: longitud, sentimiento, cantidad de citas, tasa de rechazo del usuario. Calidad: puntuaciones del harness contra el conjunto dorado, ejecutado periódicamente. Operativa: latencia, coste, errores, disponibilidad.
Cuando dos métricas clave salen de banda, el comité de modelos decide. La decisión va desde reentrenamiento o reajuste hasta retirada del sistema. La trazabilidad por decisión se conserva al menos cinco años.
Ready to scope your project? Submit a short brief and we reply within one business day.
Cuéntanos qué quieres construir. Respondemos en un día hábil.