ÉVALUER · Vous déployez l’IA dans vos processus métier
Vérification d’une IA tierce
Avant de signer ou pendant que vous l’utilisez déjà : l’IA du fournisseur, assistants, agents et autres modèles de langage compris, face à l’usage que vous en faites ou en ferez.
ISO/IEC 23894
C’est un point de départ : la recette s’adapte à votre entreprise.

Évaluer
vérifier et valider sa sécurité et son impact : ce qui peut mal tourner, qui est concerné et si les contrôles fonctionnent.
Vous recevez
Ce qui est respecté, ce qui ne l’est pas et ce qu’il faut demander au fournisseur.
Ce qui la distingue
Nous la testons avec des cas de votre usage réel, sans nous arrêter à ce que déclare le fournisseur.
Ce que nous évaluons, selon votre système
Modèles qui prédisent ou classent
Performance, robustesse, biais et équité entre groupes.
Modèles de langage
Hallucinations, toxicité, injection de prompt et fuites de données.
Agents
Ce qu’ils peuvent faire et avec quelles permissions, si chaque étape peut être reconstituée et si la supervision les arrête à temps face à des erreurs introduites exprès.
Supervision humaine →
Et ce que votre usage rend nécessaire.
Comment nous travaillons
Votre usage prévu
ÉVALUER · première étape
À quoi vous allez utiliser l’IA du fournisseur, sur qui et dans quelles décisions.
Ce que déclare le fournisseur
ÉVALUER · avec sa documentation
Notice d’utilisation, limites connues, données d’entraînement et ce qu’il affirme respecter.
Vérifier face à votre usage
ÉVALUER · avec vos cas
Nous testons le système avec des cas de votre usage réel et cherchons les risques que votre usage ajoute.
C’est un chatbot face à vos clients ? Nous le testons sur ce qu’il promet.
Ce que l’article 50 exige →Que demander au fournisseur
GOUVERNER · avant de signer ou en service
Ce qui est respecté, ce qui ne l’est pas et quoi exiger par contrat : informations, avis de changements et d’incidents. L’acheter, la garder ou en changer, c’est vous qui décidez.
Ce que nous laissons en place
Votre usage prévu, par écrit
À quoi sert l’IA du fournisseur, sur qui et dans quelles décisions.
La vérification avec vos cas
Avec vos cas réels, selon le type de système.
Ce qu’il faut demander au fournisseur
Informations, avis de changements et d’incidents, prêts pour le contrat.
Ce qui change pour votre équipe
Ne change pas
- Le fournisseur que vous choisissez
- Votre façon d’acheter
Change
- L’IA est vérifiée au regard de votre usage avant de signer
- Le contrat demande ce dont votre usage a besoin
- Vous savez quoi surveiller une fois en usage
Autres points de départ
Vous déployez l’IA dans vos processus métier