ÉVALUER · Vous intégrez l’IA à vos produits
Diligence raisonnable de vos modèles d’IA
Une revue interne des modèles d’IA que vous avez développés : quels risques ils comportent, s’ils sont bien identifiés et s’ils sont bien évalués.
Art. 9 du règlement sur l’IA · prEN 18228 · ISO/IEC 23894
C’est un point de départ : la recette s’adapte à votre entreprise.
Évaluer
vérifier et valider sa sécurité et son impact : ce qui peut mal tourner, qui est concerné et si les contrôles fonctionnent.
Vous recevez
Pour chaque modèle, par écrit : les risques manquants, les évaluations qui ne tiennent pas et ce qu’il convient de renforcer.
Ce qui la distingue
Nous ne nous arrêtons pas à la documentation : ce qui est affirmé du modèle est vérifié par des tests techniques.
Comment nous travaillons
Les modèles et leur finalité
GOUVERNER · première étape
Quels modèles vous avez développés, à quoi ils servent et qui leurs résultats concernent. Cela nous dit par où commencer.
Les risques sont-ils bien identifiés ?
ÉVALUER · avec votre équipe
Nous comparons les risques que vous avez enregistrés avec ceux que produisent l’usage et le modèle lui-même. Ceux qui manquent sont identifiés en séance avec le canevas.
Le canevas des risques d’IA →Sont-ils bien évalués ?
ÉVALUER · avec leurs preuves
Nous examinons les critères, la probabilité et la gravité estimées et l’évaluation de chaque risque : s’ils tiennent avec des preuves et suivent la méthode de la norme.
Tester ce qui est affirmé
PROUVER · avec vos données
Là où l’évaluation affirme quelque chose du modèle, nous le vérifions avec vos données et vos métriques : performance, robustesse et écarts entre groupes.
La méthode, étape par étape
- Vous nous dites qui est concerné ; nous apportons la méthode, la mesure et les tests.
- Vous approuvez les seuils des tests.
- Le résultat est accepté par quelqu’un de chez vous.
- Cela protège le travail de votre équipe face à qui vous examine. Ce n’est pas un audit de l’équipe.
Rapport et décision
GOUVERNER · avec qui décide chez vous
Nous remettons le rapport de chaque modèle et le passons en revue avec qui décide chez vous. La revue s’arrête là ; la suite, c’est vous qui décidez.
Ce que nous laissons en place
Le registre des risques revu et enrichi
Avec les risques manquants, identifiés avec votre équipe lors d’une séance avec le canevas.
Les tests du modèle
Performance, robustesse et écarts entre groupes, mesurés avec vos données et reproductibles.
Un critère que votre équipe sait appliquer
Comment identifier et évaluer les risques avec la méthode de la norme, pour la prochaine version.
Ce qui change pour votre équipe
Ne change pas
- Vos modèles et vos données
- La façon de travailler de votre équipe
Change
- Les risques partent de l’usage réel du modèle
- Chaque évaluation s’appuie sur des preuves
- Ce qui est affirmé du modèle est testé
Autres points de départ
Vous intégrez l’IA à vos produits