«Esto lo tenemos cubierto: tenemos la política de IA aprobada, el comité montado y el registro de sistemas al día.» Lo he oído lo suficiente como para saber que quien lo dice no exagera: lo tiene, le ha costado meses y es más de lo que tiene su competencia. Y aun así puede suspender.
Traigo esa frase precisamente porque no hay farol en ella. Es el malentendido más caro de los que me encuentro, porque lo comete quien va bien: tener la política, el comité y el registro es gobernanza de verdad, y hace falta. Lo que pasa es que la gobernanza dice cómo debería comportarse tu organización. Decirlo no es demostrarlo. Ocho capítulos después, esa es la idea que los cose todos: documentar no es probar. Y casi toda la industria está documentando.
La ley separa las dos cosas mejor de lo que las separa el mercado. El artículo 17 te pide un sistema de gestión —políticas, roles, procedimientos escritos—, y una certificación como la ISO/IEC 42001 apoya justo esa parte. Pero el sistema que sale a la calle no lo aprueba el artículo 17. Lo aprueba la evaluación de conformidad, y esa no pregunta por tus procedimientos: pregunta por este sistema, en esta versión. Con qué datos se entrenó. Qué riesgos identificaste y qué hiciste con ellos. Quién pudo anularlo, y qué quedó escrito cuando lo hizo. Son los artículos 9 a 15, los que desgrané en el pilar de esta serie. La política promete. La evaluación comprueba.
Pon dos empresas calcadas: mismo sector, sistema equivalente, y el mismo certificado de sistema de gestión colgado en la pared —mismo alcance, mismo auditor, misma fecha—. Una pasa la evaluación de conformidad y la otra no. No las separa el certificado, que es idéntico. Las separa que una puede enseñar, para la versión exacta que puso en servicio, cómo se construyó; y la otra tiene que reconstruirlo de memoria. El certificado dice que la organización tiene un sistema para hacer las cosas bien. La evaluación pregunta si esta cosa, en concreto, se hizo bien. Dos preguntas distintas, dos papeles distintos.
Esa película ya la he visto, y no en el Reglamento de IA —que todavía no ha auditado a nadie—, sino en producto sanitario: un sistema de gestión de la calidad impecable, con su certificado en regla, y debajo un expediente técnico que no aguantaba el primer tirón. El certificado del sistema de gestión y la conformidad del producto conviven sin rozarse. Se suspende por la segunda.
El recorrido, en una frase cada parada —y con el enlace, por si te falta alguna—. Empezamos por la pregunta cero —¿me aplica?—: el alto riesgo lo marca el caso de uso, no la tecnología, y montarlo te convierte en proveedor. Luego, que los artículos 9 a 15 no son cláusulas para abogados sino una especificación de ingeniería. Y de ahí, uno a uno: la trazabilidad, que ata cada decisión a la terna ; los riesgos de tu sistema, que no se descargan, porque una plantilla describe un sistema cualquiera y no el tuyo; la gestión de esos riesgos como un bucle que dirige el diseño, no como un informe fechado la víspera; la supervisión humana, que no es una persona en la silla sino la capacidad de anular y dejar traza; y la evidencia, que se emite por construcción y se encadena hacia atrás hasta las piezas que no hiciste.
Todo eso junto tiene un nombre. La gobernanza describe; el aseguramiento es la capa de encima, la que demuestra con evidencia verificable que tu sistema de hecho se comporta como la gobernanza dice. No es en lugar de la gobernanza —es la gobernanza probada—. Eso es lo que defiendo: una política que no puedes demostrar es una intención, y una intención no aprueba una evaluación de conformidad. Pruebas, no promesas.
Y aquí está lo que casi nadie aprovecha. Como esa evidencia sale del desarrollo, y no de un documento aparte, el mismo trabajo de ingeniería te sirve en más de un sitio. Si haces producto sanitario, buena parte de lo que pide el Reglamento de IA se solapa con lo que el MDR ya te exigía. Si estás en banca, con DORA. Si tocas infraestructura crítica, con NIS2. No es casualidad: todos persiguen lo mismo —que demuestres que tu sistema es seguro y se comporta como dices—. Lo generas una vez, mientras construyes, y lo enseñas en los sitios donde te lo pidan. La conformidad deja de ser un peaje que pagas por cada reglamento y pasa a ser una propiedad de cómo construyes.
Con esto no cierro un tema: abro el siguiente. En el primer capítulo dejé una semilla —los agentes, los sistemas que ya no solo predicen, sino que actúan por su cuenta—. Son el caso más difícil de todo lo que hemos visto: la autonomía no diluye la responsabilidad, la concentra en quien define el caso de uso, y tensiona justo lo que más cuesta demostrar. Ese es el terreno del próximo bloque. Y antes incluso que eso, una pregunta que ya no es del futuro: hoy buena parte de ese código no lo tecleas tú, lo escribe un agente; quien firma la evidencia, sin embargo, sigues siendo tú. Por ahí empiezo el próximo capítulo.
Vuelve un momento a la política aprobada del principio, la que costó meses. No la tires: es la mitad del trabajo. Solo que es la mitad que promete —y a la evaluación de conformidad se va a demostrar—.
Gracias por estas semanas. Si construyes IA que decide sobre personas, esto no era un final: era el puente. Te espero ahí.
La evidencia se genera, no se redacta.
— Rodrigo