EVALUAR · Integras IA en tus productos
Revisión de riesgos de tus modelos de IA
Una revisión interna de los modelos de IA que has desarrollado: qué riesgos tienen, si están bien identificados y si están bien evaluados.
Art. 9 del Reglamento de IA · prEN 18228 · ISO/IEC 23894
Es un punto de partida: la receta se adapta a tu empresa.
Evaluar
Verificar y validar su seguridad y su impacto: qué puede salir mal, a quién afecta y si los controles funcionan.
Recibes
Por cada modelo, por escrito: los riesgos que faltan, las evaluaciones que no se sostienen y qué conviene reforzar.
Lo que la distingue
No nos quedamos en la documentación: lo que se afirma del modelo se comprueba con pruebas técnicas.
Cómo trabajamos
Los modelos y su finalidad
GOBERNAR · primer paso
Qué modelos has desarrollado, para qué se usan y a quién afectan sus resultados. Con eso decidimos por dónde empezar.
¿Están bien identificados los riesgos?
EVALUAR · con tu equipo
Contrastamos los riesgos que tienes registrados con los que producen el uso y el propio modelo. Los que faltan se identifican en una sesión con el lienzo.
El lienzo de riesgos de IA →¿Están bien evaluados?
EVALUAR · con su evidencia
Revisamos los criterios, la probabilidad y la gravedad estimadas y la evaluación de cada riesgo: si se sostienen con evidencia y siguen el método de la norma.
Probar lo que se afirma
PROBAR · con tus datos
Donde la evaluación dice algo del modelo, lo comprobamos con tus datos y tus métricas: rendimiento, robustez y diferencias entre grupos.
El método, paso a paso
- Tú nos dices quién está afectado; nosotros ponemos el método, la medida y las pruebas.
- Los umbrales de las pruebas los apruebas tú.
- El resultado lo acepta alguien de tu casa.
- Protege el trabajo de tu equipo ante quien os examine. No es una auditoría del equipo.
Informe y decisión
GOBERNAR · con quien decide en tu casa
Te entregamos el informe de cada modelo y lo repasamos con quien decide en tu casa. La revisión termina ahí; lo que venga después lo decides tú.
Lo que te dejamos funcionando
El registro de riesgos revisado y ampliado
Con los riesgos que faltaban, identificados con tu equipo en una sesión con el lienzo.
Las pruebas del modelo
Rendimiento, robustez y diferencias entre grupos, medidos con tus datos y repetibles.
Un criterio que tu equipo sabe aplicar
Cómo identificar y evaluar riesgos con el método de la norma, para la próxima versión.
Qué cambia en tu equipo
Sigue igual
- Tus modelos y tus datos
- La forma de trabajar de tu equipo
Cambia
- Los riesgos parten del uso real del modelo
- Cada evaluación se sostiene con evidencia
- Lo que se afirma del modelo está probado
Otros puntos de partida
Integras IA en tus productos