EVALUAR · Implantas IA en tus procesos de negocio
Evaluación de un sistema de IA de terceros
Evaluamos el sistema de IA del proveedor, también asistentes, agentes y otros modelos de lenguaje, según el uso que le das o que tienes previsto darle, tanto antes de contratarlo como si ya lo utilizas.
ISO/IEC 23894
Es un punto de partida: la receta se adapta a tu empresa.

Evaluar
Verificar y validar su seguridad y su impacto: qué puede salir mal, a quién afecta y si los controles funcionan.
Recibes
Qué requisitos cumple el sistema, cuáles no y qué pedir al proveedor.
Lo que la distingue
Probamos el sistema con casos reales de uso, no nos quedamos en lo que declara el proveedor.
Qué evaluamos, según tu sistema
Modelos que predicen o clasifican
Rendimiento, robustez, sesgo y equidad entre grupos.
Modelos de lenguaje
Alucinaciones, toxicidad, prompt injection y fugas de datos.
Agentes
Qué pueden hacer y con qué permisos, si cada paso se puede reconstruir y si la supervisión los para a tiempo ante errores metidos a propósito.
Supervisión humana →
Y lo que tu uso haga necesario.
Cómo trabajamos
Tu uso previsto
EVALUAR · primer paso
Para qué vas a utilizar el sistema de IA del proveedor, a quién afecta y en qué decisiones interviene.
Lo que declara el proveedor
EVALUAR · con su documentación
Instrucciones de uso, limitaciones conocidas, datos de entrenamiento y requisitos que el proveedor declara cumplir.
Probar el sistema en tu contexto
EVALUAR · con tus casos
Probamos el sistema con casos reales de uso e identificamos los riesgos adicionales de utilizarlo en tu contexto.
¿Es un chatbot de cara a tus clientes? Lo probamos con lo que promete.
Qué te pide el artículo 50 →Qué pedir al proveedor
GOBERNAR · antes de firmar o en uso
Qué requisitos cumple el sistema, cuáles no y qué pedir al proveedor en el contrato: información y avisos de cambios y de incidentes. Tú decides si lo compras, sigues utilizándolo o lo sustituyes.
Lo que te dejamos funcionando
Tu uso previsto, por escrito
Para qué utilizas el sistema de IA del proveedor, a quién afecta y en qué decisiones interviene.
Pruebas con tus casos de uso
Con tus casos reales, según el tipo de sistema.
Qué pedir al proveedor
Información, avisos de cambios y de incidentes, listos para el contrato.
Qué cambia en tu equipo
Sigue igual
- El proveedor que elijas
- Tu forma de comprar
Cambia
- El sistema de IA se evalúa para el uso previsto antes de firmar
- El contrato recoge los requisitos necesarios para el uso que vas a darle al sistema
- Sabes qué vigilar cuando ya la usas
Otros puntos de partida
Implantas IA en tus procesos de negocio