Del riesgo a la prueba, sin huecos.
Riesgos, controles, requisitos, verificación y validación de tu sistema de IA, encadenados y firmados sobre las capas de MLOps y DevSecOps que ya usa tu equipo.
Del trabajo de tu equipo a la evidencia firmada
Froga genera evidencia firmada para documentar tu sistema de IA y probar el cumplimiento de los requisitos regulatorios aplicables.
La cadena de Froga, firmada
- Riesgos · Riesgo que queda: lo acepta la organización
- Controles · ¿Bajan el riesgo?
- Requisitos · Validación: ¿sirve para su uso previsto?
- Diseño · Verificación: ¿cumple cada requisito?
El sistema. Capas de MLOps y DevSecOps de tu equipo
- datos
- ejecuciones y métricas
- modelo
- repositorio e integración continua
Cada riesgo, hasta su prueba
Cada riesgo tiene sus controles, cada control su requisito, cada requisito su prueba y cada prueba su resultado. Si falta un eslabón, se ve.
1
Riesgos
Qué puede salir mal, cuánto daño haría y con qué probabilidad.
2
Controles
Cada control baja la probabilidad del daño, su impacto o las dos cosas. La organización acepta por escrito el riesgo que queda.
3
Requisitos
Cada control se convierte en un requisito, con la forma de comprobarlo y el criterio para darlo por bueno.
4
Verificación
Las pruebas se ejecutan en la integración continua. Cada resultado dice si el sistema cumple el requisito, si no lo cumple o si la prueba no permite concluirlo.
5
Validación
Se comprueba que el sistema sirve para el uso previsto, con los datos y el modelo de cada versión.
| Impacto → | ||||||
|---|---|---|---|---|---|---|
| Insignificante | Bajo | Medio | Alto | Crítico | ||
| Probabilidad → | Casi segura | Probabilidad Casi segura, impacto Insignificante: a juicio de una persona, sin riesgos. | Probabilidad Casi segura, impacto Bajo: no aceptable, sin riesgos. | Probabilidad Casi segura, impacto Medio: no aceptable, sin riesgos. | Probabilidad Casi segura, impacto Alto: no aceptable, sin riesgos. | Probabilidad Casi segura, impacto Crítico: no aceptable, sin riesgos. |
| Probable | Probabilidad Probable, impacto Insignificante: aceptable, sin riesgos. | Probabilidad Probable, impacto Bajo: a juicio de una persona, sin riesgos. | Probabilidad Probable, impacto Medio: no aceptable, sin riesgos. | Probabilidad Probable, impacto Alto: no aceptable, 2 riesgos. | Probabilidad Probable, impacto Crítico: no aceptable, sin riesgos. | |
| Posible | Probabilidad Posible, impacto Insignificante: aceptable, sin riesgos. | Probabilidad Posible, impacto Bajo: a juicio de una persona, sin riesgos. | Probabilidad Posible, impacto Medio: a juicio de una persona, sin riesgos. | Probabilidad Posible, impacto Alto: no aceptable, sin riesgos. | Probabilidad Posible, impacto Crítico: no aceptable, sin riesgos. | |
| Improbable | Probabilidad Improbable, impacto Insignificante: aceptable, sin riesgos. | Probabilidad Improbable, impacto Bajo: aceptable, sin riesgos. | Probabilidad Improbable, impacto Medio: a juicio de una persona, sin riesgos. | Probabilidad Improbable, impacto Alto: a juicio de una persona, sin riesgos. | Probabilidad Improbable, impacto Crítico: no aceptable, 1 riesgo. | |
| Rara | Probabilidad Rara, impacto Insignificante: aceptable, sin riesgos. | Probabilidad Rara, impacto Bajo: aceptable, sin riesgos. | Probabilidad Rara, impacto Medio: aceptable, sin riesgos. | Probabilidad Rara, impacto Alto: aceptable, sin riesgos. | Probabilidad Rara, impacto Crítico: a juicio de una persona, sin riesgos. | |
| Impacto → | ||||||
|---|---|---|---|---|---|---|
| Insignificante | Bajo | Medio | Alto | Crítico | ||
| Probabilidad → | Casi segura | Probabilidad Casi segura, impacto Insignificante: a juicio de una persona, sin riesgos. | Probabilidad Casi segura, impacto Bajo: no aceptable, sin riesgos. | Probabilidad Casi segura, impacto Medio: no aceptable, sin riesgos. | Probabilidad Casi segura, impacto Alto: no aceptable, sin riesgos. | Probabilidad Casi segura, impacto Crítico: no aceptable, sin riesgos. |
| Probable | Probabilidad Probable, impacto Insignificante: aceptable, sin riesgos. | Probabilidad Probable, impacto Bajo: a juicio de una persona, sin riesgos. | Probabilidad Probable, impacto Medio: no aceptable, sin riesgos. | Probabilidad Probable, impacto Alto: no aceptable, sin riesgos. | Probabilidad Probable, impacto Crítico: no aceptable, sin riesgos. | |
| Posible | Probabilidad Posible, impacto Insignificante: aceptable, sin riesgos. | Probabilidad Posible, impacto Bajo: a juicio de una persona, sin riesgos. | Probabilidad Posible, impacto Medio: a juicio de una persona, sin riesgos. | Probabilidad Posible, impacto Alto: no aceptable, sin riesgos. | Probabilidad Posible, impacto Crítico: no aceptable, sin riesgos. | |
| Improbable | Probabilidad Improbable, impacto Insignificante: aceptable, sin riesgos. | Probabilidad Improbable, impacto Bajo: aceptable, 1 riesgo. | Probabilidad Improbable, impacto Medio: a juicio de una persona, sin riesgos. | Probabilidad Improbable, impacto Alto: a juicio de una persona, sin riesgos. | Probabilidad Improbable, impacto Crítico: no aceptable, sin riesgos. | |
| Rara | Probabilidad Rara, impacto Insignificante: aceptable, sin riesgos. | Probabilidad Rara, impacto Bajo: aceptable, sin riesgos. | Probabilidad Rara, impacto Medio: aceptable, sin riesgos. | Probabilidad Rara, impacto Alto: aceptable, 1 riesgo. | Probabilidad Rara, impacto Crítico: a juicio de una persona, 1 riesgo. | |
Ejemplo con tres riesgos. El número de cada casilla indica cuántos riesgos caen en ella.
Todo corre sobre las capas de MLOps y DevSecOps de tu equipo: las métricas salen de sus ejecuciones y las pruebas, de su repositorio.
Con qué trabaja
MLOps · datos y ejecuciones
| Herramienta | Qué aporta | Alcance |
|---|---|---|
| Huella del fichero de bloqueo | Un tercero puede recalcularla con el repositorio y sus dependencias. | |
| Huella de las métricas de ejecución | Las métricas permanecen en el almacén de MLflow. | |
| Huella del material de ejecución | El material permanece en el almacén de Dagster. | |
| Procedencia en el historial de ejecuciones | Los datos se referencian mediante punteros. |
DevSecOps · repositorios e integración continua
| Herramienta | Qué aporta | Alcance |
|---|---|---|
| Verificación de entregas | Según la configuración de Froga en la integración continua. | |
| Verificación de entregas | Según la configuración de Froga en la integración continua. | |
| Conexión con el repositorio | Sin verificación de entregas. |
Quién aprueba cada versión
Cada cambio lo propone una persona y lo aprueba otra, en el repositorio, y queda firmado. Froga no deja sacar una versión hasta que la cadena está completa, y su documentación se comprueba sin Froga.
La evidencia que produce Froga, norma por norma.
Catorce familias de normas. Qué parte de cada una aborda Froga en un sistema de IA y cuántas cláusulas evalúa su catálogo. Lo que queda fuera, en la misma página.
DORA · 11 cláusulas
Qué entra en la evaluaciónRiesgos TIC, controles de protección, pruebas de resiliencia e inventario de dependencias.
EN 18286 · 11 de 39 cláusulas
Qué entra en la evaluaciónDocumentación del sistema, tratamiento de riesgos, datos, cambios y plan de seguimiento.
ENS · 4 cláusulas
Qué entra en la evaluaciónRegistro del ciclo de vida, plan de vigilancia, desarrollo seguro e inventario de componentes.
Estatuto de los Trabajadores · 1 cláusula
Qué entra en la evaluaciónTransparencia algorítmica ante la representación de los trabajadores.
ISO 14971 · 10 cláusulas
Qué entra en la evaluaciónAnálisis y control de riesgos, riesgo residual, beneficio-riesgo y riesgos introducidos por los controles.
ISO/IEC 23894 · 8 cláusulas
Qué entra en la evaluaciónIdentificación, evaluación y tratamiento de riesgos de IA, con su registro y plan de seguimiento.
ISO/IEC 27001 · 19 cláusulas
Qué entra en la evaluaciónRiesgos de seguridad del sistema, controles e inventario de componentes de software; seguimiento y revisión.
ISO/IEC 42001 · 9 cláusulas
Qué entra en la evaluaciónRiesgos e impacto de la IA, objetivos, control operacional y revisión del sistema.
Ley 15/2022 · 1 cláusula
Qué entra en la evaluaciónMinimización de sesgos en algoritmos de decisión.
MDR · 12 cláusulas
Qué entra en la evaluaciónSeguridad y riesgos del software sanitario, rendimiento, ciclo de vida y dependencias.
prEN 18228 · 28 cláusulas
Qué entra en la evaluaciónRiesgos de IA a lo largo del ciclo de vida: pruebas, controles y evaluación del riesgo residual.
prEN 18229-1 · 6 cláusulas
Qué entra en la evaluaciónRegistro del ciclo de vida, uso indebido previsible y controles de supervisión e intervención humana.
prEN 18282 · 8 cláusulas
Qué entra en la evaluaciónAmenazas de ciberseguridad, resistencia a ataques, integridad, acceso, confidencialidad y seguimiento.
prEN 18283 · 10 cláusulas
Qué entra en la evaluaciónSesgos, gobernanza de datos, medición, mitigación y seguimiento del sesgo residual.
El alcance es parcial y se refiere al sistema de IA, no a toda la organización ni a la norma completa. Los recuentos no representan un porcentaje de cumplimiento.
Si hasta aquí encaja, lo siguiente es una conversación.
Hablemos