ÉVALUER · Vous intégrez l’IA à vos produits
Diligence raisonnable de vos modèles d’IA
Une revue interne des modèles d’IA que vous avez développés, y compris les modèles de langage et les agents : quels risques ils comportent, s’ils sont bien identifiés et s’ils sont bien évalués.
Art. 9 du règlement sur l’IA · prEN 18228 · ISO/IEC 23894
C’est un point de départ : la recette s’adapte à votre entreprise.

Évaluer
vérifier et valider sa sécurité et son impact : ce qui peut mal tourner, qui est concerné et si les contrôles fonctionnent.
Vous recevez
Pour chaque modèle, par écrit : les risques manquants, les évaluations qui ne tiennent pas et ce qu’il convient de renforcer.
Ce qui la distingue
Nous ne nous arrêtons pas à la documentation : ce qui est affirmé du modèle est vérifié par des tests techniques.
Ce que nous évaluons, selon votre système
Modèles qui prédisent ou classent
Performance, robustesse, biais et équité entre groupes.
Modèles de langage
Hallucinations, toxicité, injection de prompt et fuites de données.
Agents
Ce qu’ils peuvent faire et avec quelles permissions, si chaque étape peut être reconstituée et si la supervision les arrête à temps face à des erreurs introduites exprès.
Supervision humaine →
Et ce que votre usage rend nécessaire.
Comment nous travaillons
Les modèles et leur finalité
GOUVERNER · première étape
Quels modèles vous avez développés, à quoi ils servent et qui leurs résultats concernent. Cela nous dit par où commencer.
Les risques sont-ils bien identifiés ?
ÉVALUER · avec votre équipe
Nous comparons les risques que vous avez enregistrés avec ceux que produisent l’usage et le modèle lui-même. Ceux qui manquent sont identifiés en séance avec le canevas.
Le canevas des risques d’IA →Sont-ils bien évalués ?
ÉVALUER · avec leurs preuves
Nous examinons les critères, la probabilité et la gravité estimées et l’évaluation de chaque risque : s’ils tiennent avec des preuves et suivent la méthode de la norme.
Tester ce qui est affirmé
PROUVER · avec vos données
Là où l’évaluation affirme quelque chose du modèle, nous le vérifions avec vos données et vos métriques.
La méthode, étape par étape
- Vous nous dites qui est concerné ; nous apportons la méthode, la mesure et les tests.
- Vous approuvez les seuils des tests.
- Le résultat est accepté par quelqu’un de chez vous.
- Cela protège le travail de votre équipe face à qui vous examine. Ce n’est pas un audit de l’équipe.
Rapport et décision
GOUVERNER · avec qui décide chez vous
Nous remettons le rapport de chaque modèle et le passons en revue avec qui décide chez vous. La revue s’arrête là ; la suite, c’est vous qui décidez.
Ce que nous laissons en place
Le registre des risques revu et enrichi
Avec les risques manquants, identifiés avec votre équipe lors d’une séance avec le canevas.
Les tests du modèle
Celles de votre type de système, avec vos données et reproductibles.
Un critère que votre équipe sait appliquer
Comment identifier et évaluer les risques avec la méthode de la norme, pour la prochaine version.
Ce qui change pour votre équipe
Ne change pas
- Vos modèles et vos données
- La façon de travailler de votre équipe
Change
- Les risques partent de l’usage réel du modèle
- Chaque évaluation s’appuie sur des preuves
- Ce qui est affirmé du modèle est testé
Autres points de départ
Vous intégrez l’IA à vos produits