Du risque à l’essai, sans maillon manquant.
Risques, contrôles, exigences, vérification et validation de votre système d’IA, enchaînés et signés sur les couches MLOps et DevSecOps que votre équipe utilise déjà.
Du travail de votre équipe à la preuve signée
Froga génère des preuves signées pour documenter votre système d’IA et prouver le respect des exigences réglementaires applicables.
La chaîne de Froga, signée
- Risques · Risque restant: l’organisation l’accepte
- Contrôles · Le risque baisse-t-il ?
- Exigences · Validation: convient-il à l’usage prévu ?
- Conception · Vérification: respecte-t-il chaque exigence ?
Le système. Couches MLOps et DevSecOps de votre équipe
- données
- exécutions et métriques
- modèle
- dépôt et intégration continue
Chaque risque, jusqu’à son essai
Chaque risque a ses contrôles, chaque contrôle son exigence, chaque exigence son essai et chaque essai son résultat. S’il manque un maillon, cela se voit.
1
Risques
Ce qui peut mal tourner, le tort que cela causerait et avec quelle probabilité.
2
Contrôles
Chaque contrôle réduit la probabilité du dommage, son impact ou les deux. L’organisation accepte par écrit le risque restant.
3
Exigences
Chaque contrôle devient une exigence, avec la façon de la vérifier et le critère d’acceptation.
4
Vérification
Les essais tournent dans l’intégration continue. Chaque résultat indique si le système satisfait l’exigence, s’il ne la satisfait pas ou si l’essai ne permet pas de conclure.
5
Validation
On vérifie que le système convient à l’usage prévu, avec les données et le modèle de chaque version.
| Impact → | ||||||
|---|---|---|---|---|---|---|
| Négligeable | Faible | Moyen | Élevé | Critique | ||
| Probabilité → | Quasi certaine | Probabilité Quasi certaine, impact Négligeable : au jugement d’une personne, aucun risque. | Probabilité Quasi certaine, impact Faible : non acceptable, aucun risque. | Probabilité Quasi certaine, impact Moyen : non acceptable, aucun risque. | Probabilité Quasi certaine, impact Élevé : non acceptable, aucun risque. | Probabilité Quasi certaine, impact Critique : non acceptable, aucun risque. |
| Probable | Probabilité Probable, impact Négligeable : acceptable, aucun risque. | Probabilité Probable, impact Faible : au jugement d’une personne, aucun risque. | Probabilité Probable, impact Moyen : non acceptable, aucun risque. | Probabilité Probable, impact Élevé : non acceptable, 2 risques. | Probabilité Probable, impact Critique : non acceptable, aucun risque. | |
| Possible | Probabilité Possible, impact Négligeable : acceptable, aucun risque. | Probabilité Possible, impact Faible : au jugement d’une personne, aucun risque. | Probabilité Possible, impact Moyen : au jugement d’une personne, aucun risque. | Probabilité Possible, impact Élevé : non acceptable, aucun risque. | Probabilité Possible, impact Critique : non acceptable, aucun risque. | |
| Improbable | Probabilité Improbable, impact Négligeable : acceptable, aucun risque. | Probabilité Improbable, impact Faible : acceptable, aucun risque. | Probabilité Improbable, impact Moyen : au jugement d’une personne, aucun risque. | Probabilité Improbable, impact Élevé : au jugement d’une personne, aucun risque. | Probabilité Improbable, impact Critique : non acceptable, 1 risque. | |
| Rare | Probabilité Rare, impact Négligeable : acceptable, aucun risque. | Probabilité Rare, impact Faible : acceptable, aucun risque. | Probabilité Rare, impact Moyen : acceptable, aucun risque. | Probabilité Rare, impact Élevé : acceptable, aucun risque. | Probabilité Rare, impact Critique : au jugement d’une personne, aucun risque. | |
| Impact → | ||||||
|---|---|---|---|---|---|---|
| Négligeable | Faible | Moyen | Élevé | Critique | ||
| Probabilité → | Quasi certaine | Probabilité Quasi certaine, impact Négligeable : au jugement d’une personne, aucun risque. | Probabilité Quasi certaine, impact Faible : non acceptable, aucun risque. | Probabilité Quasi certaine, impact Moyen : non acceptable, aucun risque. | Probabilité Quasi certaine, impact Élevé : non acceptable, aucun risque. | Probabilité Quasi certaine, impact Critique : non acceptable, aucun risque. |
| Probable | Probabilité Probable, impact Négligeable : acceptable, aucun risque. | Probabilité Probable, impact Faible : au jugement d’une personne, aucun risque. | Probabilité Probable, impact Moyen : non acceptable, aucun risque. | Probabilité Probable, impact Élevé : non acceptable, aucun risque. | Probabilité Probable, impact Critique : non acceptable, aucun risque. | |
| Possible | Probabilité Possible, impact Négligeable : acceptable, aucun risque. | Probabilité Possible, impact Faible : au jugement d’une personne, aucun risque. | Probabilité Possible, impact Moyen : au jugement d’une personne, aucun risque. | Probabilité Possible, impact Élevé : non acceptable, aucun risque. | Probabilité Possible, impact Critique : non acceptable, aucun risque. | |
| Improbable | Probabilité Improbable, impact Négligeable : acceptable, aucun risque. | Probabilité Improbable, impact Faible : acceptable, 1 risque. | Probabilité Improbable, impact Moyen : au jugement d’une personne, aucun risque. | Probabilité Improbable, impact Élevé : au jugement d’une personne, aucun risque. | Probabilité Improbable, impact Critique : non acceptable, aucun risque. | |
| Rare | Probabilité Rare, impact Négligeable : acceptable, aucun risque. | Probabilité Rare, impact Faible : acceptable, aucun risque. | Probabilité Rare, impact Moyen : acceptable, aucun risque. | Probabilité Rare, impact Élevé : acceptable, 1 risque. | Probabilité Rare, impact Critique : au jugement d’une personne, 1 risque. | |
Exemple avec trois risques. Le chiffre de chaque case indique combien de risques s’y trouvent.
Tout repose sur les couches MLOps et DevSecOps de votre équipe : les métriques viennent de ses exécutions et les essais, de son dépôt.
Avec quoi cela fonctionne
MLOps · données et exécutions
| Outil | Contribution | Périmètre |
|---|---|---|
| Empreinte du fichier de verrouillage | Un tiers peut la recalculer avec le dépôt et ses dépendances. | |
| Empreinte des métriques d’exécution | Les métriques restent dans le stockage de MLflow. | |
| Empreinte des éléments d’exécution | Les éléments restent dans le stockage de Dagster. | |
| Provenance dans l’historique des exécutions | Les données sont référencées par des pointeurs. |
DevSecOps · dépôts et intégration continue
| Outil | Contribution | Périmètre |
|---|---|---|
| Vérification des livraisons | Selon la configuration de Froga dans l’intégration continue. | |
| Vérification des livraisons | Selon la configuration de Froga dans l’intégration continue. | |
| Connexion au dépôt | Sans vérification des livraisons. |
Qui approuve chaque version
Chaque changement est proposé par une personne et approuvé par une autre, dans le dépôt, et il reste signé. Froga ne laisse sortir une version que lorsque la chaîne est complète, et sa documentation se vérifie sans Froga.
La preuve que produit Froga, norme par norme.
Quatorze familles de normes. La partie de chacune que Froga traite pour un système d’IA et le nombre de clauses évaluées par son catalogue. Ce qui reste en dehors, sur la même page.
DORA · 11 clauses
Ce qui entre dans l’évaluationRisques TIC, contrôles de protection, tests de résilience et inventaire des dépendances.
EN 18286 · 11 clauses sur 39
Ce qui entre dans l’évaluationDocumentation du système, traitement des risques, données, changements et plan de suivi.
ENS · 4 clauses
Ce qui entre dans l’évaluationRegistre du cycle de vie, plan de surveillance, développement sécurisé et inventaire des composants.
Estatuto de los Trabajadores · 1 clause
Ce qui entre dans l’évaluationTransparence algorithmique envers la représentation du personnel.
ISO 14971 · 10 clauses
Ce qui entre dans l’évaluationAnalyse et maîtrise des risques, risque résiduel, bénéfice-risque et risques introduits par les contrôles.
ISO/IEC 23894 · 8 clauses
Ce qui entre dans l’évaluationIdentification, évaluation et traitement des risques de l’IA, avec leur registre et un plan de suivi.
ISO/IEC 27001 · 19 clauses
Ce qui entre dans l’évaluationRisques de sécurité du système, contrôles et inventaire des composants logiciels ; suivi et revue.
ISO/IEC 42001 · 9 clauses
Ce qui entre dans l’évaluationRisques et impacts de l’IA, objectifs, contrôle opérationnel et revue du système.
Ley 15/2022 · 1 clause
Ce qui entre dans l’évaluationMinimisation des biais dans les algorithmes de décision.
MDR · 12 clauses
Ce qui entre dans l’évaluationSécurité et risques du logiciel médical, performances, cycle de vie et dépendances.
prEN 18228 · 28 clauses
Ce qui entre dans l’évaluationRisques de l’IA tout au long du cycle de vie : tests, contrôles et évaluation du risque résiduel.
prEN 18229-1 · 6 clauses
Ce qui entre dans l’évaluationRegistre du cycle de vie, mauvais usage prévisible et contrôles de supervision et d’intervention humaines.
prEN 18282 · 8 clauses
Ce qui entre dans l’évaluationMenaces de cybersécurité, résistance aux attaques, intégrité, accès, confidentialité et suivi.
prEN 18283 · 10 clauses
Ce qui entre dans l’évaluationBiais, gouvernance des données, mesure, atténuation et suivi des biais résiduels.
Le périmètre est partiel et concerne le système d’IA, pas l’organisation entière ni la norme complète. Ces nombres ne représentent pas un pourcentage de conformité.
Si cela convient jusqu'ici, la suite est une conversation.
Parlons-en