Imagina la cola. El sistema marca a un paciente para priorizarlo, o deniega un crédito, o señala una operación como fraude. La pantalla muestra la decisión y un botón verde de «aceptar». El operador lo pulsa trescientas veces al día, porque la cola no espera y al final de la jornada hay un número que cumplir. Llega la evaluación de conformidad y alguien pregunta: «¿quién supervisa esto?». La respuesta es «esa persona, la del botón». Y ahí se cae el sistema.
Y lo reconozco porque ese error de raíz lo he cometido yo —no bajo el Reglamento de IA, que todavía no ha auditado a nadie, sino mucho antes, en un proyecto de IA médica donde la responsabilidad sobre el paciente ya era de verdad—. Mi equipo diseñó, de principio a fin, un sistema que haría el juicio entero. Lo diseñamos sin haber visto trabajar a uno solo de los especialistas que iban a usarlo, en nuestra vida. Cuando por fin nos sentamos a su lado, lo que pedían era más humilde y más útil: que les ayudara a priorizar, a llegar antes a lo que importaba —el juicio seguía siendo suyo—. Habíamos construido para nuestra idea del problema, no para ellos; no podíamos haberlo hecho para ellos, porque no los conocíamos. Ese es el error que también produce el botón de «aceptar»: un sistema pensado para decidir por la persona la deja de sello —la coartada de un sistema que en realidad decide solo—; uno pensado para trabajar con ella la mantiene al mando. Y cuál de los dos necesitas no sale de entrenar el modelo: sale de los factores humanos, de ir a ver cómo trabaja quien lo va a usar. Y no basta con lo que te cuenta en una reunión: hay que estar en su puesto el tiempo suficiente para saber a qué huele. Es el olor lo que no miente. Por eso la supervisión humana no es una persona en la silla ni una pantalla pegada al final: es una capacidad que se diseña en el producto desde el principio.
Esa es la pregunta número cuatro de las cinco que dejé planteadas: ¿la supervisión es real o decorativa? Hoy la desarrollo entera.
No es una exigencia rara que el Reglamento de IA se haya inventado. Es ingeniería de sistemas críticos de toda la vida, escrita como ley. El artículo 14 no te pide un humano presente; te pide un sistema construido para que un humano pueda supervisarlo de verdad. Y eso, leído como especificación, son tres capacidades que tienen que poder observarse —no prometerse—:
- Comprensión. Quien supervisa recibe la información para entender qué hace el sistema y dónde falla: qué propone, con qué confianza, cuáles son sus límites. Ver la decisión no es entenderla.
- Poder real. Puede no usar la salida, anularla, revertirla o, si hace falta, detener el sistema. No de boquilla: en el flujo de trabajo, sin penalización por pararse.
- Diseño para que ambas sean posibles. Es obligación de quien construye el sistema dejarlo preparado para esa supervisión, no del cliente improvisarla con un pósit en el monitor.
Fíjate en la tercera. El artículo 14 dice cómo tiene que estar construido el sistema, no solo cómo se cuenta luego. Si la supervisión no cabe en la arquitectura, no hay procedimiento que la añada después.
Ahora, supervisar no significa lo mismo en todos los casos, y aquí está la decisión de ingeniería que casi nadie toma a conciencia. Hay tres modos, y conviene nombrarlos:
- Humano-en-el-bucle (HITL, human-in-the-loop): el sistema no ejecuta nada sin que una persona confirme cada decisión. Es el modo para lo que es grave e irreversible por cada caso —una decisión que, una vez tomada, no se puede deshacer—.
- Humano-sobre-el-bucle (HOTL, human-on-the-loop): el sistema opera por su cuenta y la persona vigila, con muestreo y umbrales de alerta, lista para intervenir o parar. Es el modo para el alto volumen, donde confirmar uno a uno es inviable.
- Humano-al-mando (HIC, human-in-command): el control de gobierno sobre el sistema entero —poder desplegarlo, suspenderlo, apagarlo y responder por él—, por encima de cada decisión suelta.
¿Cómo eliges? Por el riesgo del caso de uso, en dos ejes: volumen y gravedad. Mucho volumen y daño reversible empuja a humano-sobre-el-bucle; poco volumen y daño irreversible empuja a humano-en-el-bucle; humano-al-mando va siempre por encima, sea cual sea el caso. Y esa elección no se hereda de una plantilla: sale del bucle de gestión de riesgos del que hablé la semana pasada. El riesgo dirige el diseño, y el modo de supervisión es una de las decisiones de diseño que dirige.
Aquí está el bisturí, y es lo que separa la supervisión real de la que solo lo parece. Declarar humano-en-el-bucle en el papel y operar de facto como un sello automático —el botón verde, trescientas veces— no es supervisión, es un humano-en-el-bucle sobre el papel y un sistema autónomo en la práctica. Y desmontarlo es fácil, capacidad por capacidad. El botón no da comprensión: enseña la decisión, no las razones, ni la confianza, ni los límites. No da poder real: si la única alternativa práctica es rechazar a ciegas —porque revisar de verdad cada caso pararía la cola—, rechazar a ciegas tampoco es supervisar, es lanzar una moneda. Y no deja traza útil: registra «aceptado», no «revisado con esta información, confirmado por este motivo».
El test que uso es de una sola pregunta: si quitaras el modelo, ¿esa persona habría decidido distinto alguna vez? Si la respuesta honesta es «nunca», no supervisa. Ratifica. Y ratificar es lo que hace el sesgo de automatización —la tendencia, bien documentada, a fiarnos sin más de lo que dice la máquina, sobre todo cuando hay prisa y la máquina casi siempre acierta—. El botón no combate ese sesgo. Lo industrializa.
Y aquí llega lo que de verdad incomoda a quien construye, porque es la parte que no se ve en una demostración. Una supervisión que no deja traza no existe a efectos de conformidad. Da igual que la persona comprenda y pueda anular: si no queda escrito que lo hizo, no hay nada que enseñar al evaluador. El día de la auditoría no estará el operador para contarlo de memoria —y aunque estuviera, su recuerdo no es prueba—.
Así que la traza de cada intervención tiene que capturar, por sí sola: qué propuso el modelo y con qué versión de código, de modelo y de datos lo propuso —la misma terna de la que hablé en la primera entrega—; qué información tenía delante el supervisor; qué decidió (aceptar, anular, revertir, escalar); por qué, cuándo, y quién, con qué autoridad. Y, lo que casi todo el mundo olvida: la no intervención también deja traza. Tiene que poder distinguirse «revisado y confirmado» de «pasó sin que nadie lo mirara». Si las dos cosas se registran igual —como un «aceptado» a secas—, has perdido justo la información que el evaluador va a pedir.
Esa traza es un registro del sistema como cualquier otro. Vive en el registro de eventos del artículo 12, el mismo que ya tenía que estar ahí por trazabilidad. No es un anexo que alguien se sienta a redactar el último día reconstruyendo de memoria quién anuló qué: es un evento más que el sistema emite mientras opera, firmado y reconstruible. La evidencia se genera, no se redacta —también la de la supervisión—.
Conviene decir dónde estamos con las normas, sin adornarlo: la norma técnica europea que ordenará el registro, la transparencia y la supervisión humana —la prEN 18229-1— está en borrador, en consulta. La guía específica de supervisión humana en ISO/IEC —la 42105— está en desarrollo. Y hay una especificación de apoyo sobre controlabilidad, la TS 8200, para quien quiera profundizar en el concepto técnico de poder controlar y detener el sistema. Ninguna confiere todavía presunción de conformidad: aún no hay cita en el diario oficial. La que dará presunción está escribiéndose. Hoy, usarlas es prueba de diligencia, no un salvoconducto.
Tiempo hay: la obligación para el alto riesgo del Anexo III está aplazada al 2 de diciembre de 2027 —fecha que los colegisladores acaban de dejar firme al aprobar la reforma del Reglamento—. Pero la supervisión no es una pantalla que se monta la semana antes. Es una arquitectura. El sistema que diseñas este trimestre es el que tendrás que defender entonces, y la pregunta del evaluador no será «¿hay un humano?», sino «enséñame, para esta decisión concreta, qué vio y qué decidió». Si la respuesta vive solo en la memoria de alguien, llegas tarde.
El artículo 14 no se aprueba con una pantalla bonita. Se aprueba con una arquitectura donde la persona comprende, puede anular y la anulación queda escrita —y reconstruible—. La supervisión decorativa supera la demostración; la real supera la auditoría. La diferencia es exactamente esa traza, o su ausencia.
En la próxima entrega cierro la serie con la pregunta que lleva debajo todas las demás: cómo se captura toda esta evidencia —firmada y reproducible— sin frenar al equipo. Esta traza de la supervisión no es más que un caso particular de ese problema. Si desarrollas o despliegas IA que decide sobre personas, suscríbete y seguimos.
Pruebas, no promesas.
— Rodrigo