Aller au contenu
Venturalítica
Froga

Du risque à l’essai, sans maillon manquant.

Risques, contrôles, exigences, vérification et validation de votre système d’IA, enchaînés et signés sur les couches MLOps et DevSecOps que votre équipe utilise déjà.

Du travail de votre équipe à la preuve signée

Froga génère des preuves signées pour documenter votre système d’IA et prouver le respect des exigences réglementaires applicables.

Les risques, les contrôles, les exigences et la conception descendent jusqu’au système, construit sur les couches MLOps et DevSecOps de votre équipe. En remontant, la vérification, la validation et l’efficacité des contrôles examinent chaque niveau, jusqu’au risque restant.

La chaîne de Froga, signée

  1. Risques · Risque restant: l’organisation l’accepte
  2. Contrôles · Le risque baisse-t-il ?
  3. Exigences · Validation: convient-il à l’usage prévu ?
  4. Conception · Vérification: respecte-t-il chaque exigence ?

Le système. Couches MLOps et DevSecOps de votre équipe

  • données
  • exécutions et métriques
  • modèle
  • dépôt et intégration continue

Chaque risque, jusqu’à son essai

Chaque risque a ses contrôles, chaque contrôle son exigence, chaque exigence son essai et chaque essai son résultat. S’il manque un maillon, cela se voit.

  1. 1

    Risques

    Ce qui peut mal tourner, le tort que cela causerait et avec quelle probabilité.

  2. 2

    Contrôles

    Chaque contrôle réduit la probabilité du dommage, son impact ou les deux. L’organisation accepte par écrit le risque restant.

  3. 3

    Exigences

    Chaque contrôle devient une exigence, avec la façon de la vérifier et le critère d’acceptation.

  4. 4

    Vérification

    Les essais tournent dans l’intégration continue. Chaque résultat indique si le système satisfait l’exigence, s’il ne la satisfait pas ou si l’essai ne permet pas de conclure.

  5. 5

    Validation

    On vérifie que le système convient à l’usage prévu, avec les données et le modèle de chaque version.

Sans contrôles
Sans contrôles. Probabilité en lignes et impact en colonnes.
Impact →
NégligeableFaibleMoyenÉlevéCritique
Probabilité →Quasi certaineProbabilité Quasi certaine, impact Négligeable : au jugement d’une personne, aucun risque.Probabilité Quasi certaine, impact Faible : non acceptable, aucun risque.Probabilité Quasi certaine, impact Moyen : non acceptable, aucun risque.Probabilité Quasi certaine, impact Élevé : non acceptable, aucun risque.Probabilité Quasi certaine, impact Critique : non acceptable, aucun risque.
ProbableProbabilité Probable, impact Négligeable : acceptable, aucun risque.Probabilité Probable, impact Faible : au jugement d’une personne, aucun risque.Probabilité Probable, impact Moyen : non acceptable, aucun risque.Probabilité Probable, impact Élevé : non acceptable, 2 risques.Probabilité Probable, impact Critique : non acceptable, aucun risque.
PossibleProbabilité Possible, impact Négligeable : acceptable, aucun risque.Probabilité Possible, impact Faible : au jugement d’une personne, aucun risque.Probabilité Possible, impact Moyen : au jugement d’une personne, aucun risque.Probabilité Possible, impact Élevé : non acceptable, aucun risque.Probabilité Possible, impact Critique : non acceptable, aucun risque.
ImprobableProbabilité Improbable, impact Négligeable : acceptable, aucun risque.Probabilité Improbable, impact Faible : acceptable, aucun risque.Probabilité Improbable, impact Moyen : au jugement d’une personne, aucun risque.Probabilité Improbable, impact Élevé : au jugement d’une personne, aucun risque.Probabilité Improbable, impact Critique : non acceptable, 1 risque.
RareProbabilité Rare, impact Négligeable : acceptable, aucun risque.Probabilité Rare, impact Faible : acceptable, aucun risque.Probabilité Rare, impact Moyen : acceptable, aucun risque.Probabilité Rare, impact Élevé : acceptable, aucun risque.Probabilité Rare, impact Critique : au jugement d’une personne, aucun risque.
Avec contrôles
Avec contrôles. Probabilité en lignes et impact en colonnes.
Impact →
NégligeableFaibleMoyenÉlevéCritique
Probabilité →Quasi certaineProbabilité Quasi certaine, impact Négligeable : au jugement d’une personne, aucun risque.Probabilité Quasi certaine, impact Faible : non acceptable, aucun risque.Probabilité Quasi certaine, impact Moyen : non acceptable, aucun risque.Probabilité Quasi certaine, impact Élevé : non acceptable, aucun risque.Probabilité Quasi certaine, impact Critique : non acceptable, aucun risque.
ProbableProbabilité Probable, impact Négligeable : acceptable, aucun risque.Probabilité Probable, impact Faible : au jugement d’une personne, aucun risque.Probabilité Probable, impact Moyen : non acceptable, aucun risque.Probabilité Probable, impact Élevé : non acceptable, aucun risque.Probabilité Probable, impact Critique : non acceptable, aucun risque.
PossibleProbabilité Possible, impact Négligeable : acceptable, aucun risque.Probabilité Possible, impact Faible : au jugement d’une personne, aucun risque.Probabilité Possible, impact Moyen : au jugement d’une personne, aucun risque.Probabilité Possible, impact Élevé : non acceptable, aucun risque.Probabilité Possible, impact Critique : non acceptable, aucun risque.
ImprobableProbabilité Improbable, impact Négligeable : acceptable, aucun risque.Probabilité Improbable, impact Faible : acceptable, 1 risque.Probabilité Improbable, impact Moyen : au jugement d’une personne, aucun risque.Probabilité Improbable, impact Élevé : au jugement d’une personne, aucun risque.Probabilité Improbable, impact Critique : non acceptable, aucun risque.
RareProbabilité Rare, impact Négligeable : acceptable, aucun risque.Probabilité Rare, impact Faible : acceptable, aucun risque.Probabilité Rare, impact Moyen : acceptable, aucun risque.Probabilité Rare, impact Élevé : acceptable, 1 risque.Probabilité Rare, impact Critique : au jugement d’une personne, 1 risque.

Exemple avec trois risques. Le chiffre de chaque case indique combien de risques s’y trouvent.

Tout repose sur les couches MLOps et DevSecOps de votre équipe : les métriques viennent de ses exécutions et les essais, de son dépôt.

Avec quoi cela fonctionne

MLOps · données et exécutions

OutilContributionPérimètre
DVCEmpreinte du fichier de verrouillageUn tiers peut la recalculer avec le dépôt et ses dépendances.
MLflowEmpreinte des métriques d’exécutionLes métriques restent dans le stockage de MLflow.
DagsterEmpreinte des éléments d’exécutionLes éléments restent dans le stockage de Dagster.
DataLadProvenance dans l’historique des exécutionsLes données sont référencées par des pointeurs.

DevSecOps · dépôts et intégration continue

OutilContributionPérimètre
GitHubVérification des livraisonsSelon la configuration de Froga dans l’intégration continue.
GitLabVérification des livraisonsSelon la configuration de Froga dans l’intégration continue.
ForgejoConnexion au dépôtSans vérification des livraisons.

Qui approuve chaque version

Chaque changement est proposé par une personne et approuvé par une autre, dans le dépôt, et il reste signé. Froga ne laisse sortir une version que lorsque la chaîne est complète, et sa documentation se vérifie sans Froga.

La preuve que produit Froga, norme par norme.

Quatorze familles de normes. La partie de chacune que Froga traite pour un système d’IA et le nombre de clauses évaluées par son catalogue. Ce qui reste en dehors, sur la même page.

Voir par secteur

DORA · 11 clauses

Ce qui entre dans l’évaluationRisques TIC, contrôles de protection, tests de résilience et inventaire des dépendances.

EN 18286 · 11 clauses sur 39

Ce qui entre dans l’évaluationDocumentation du système, traitement des risques, données, changements et plan de suivi.

ENS · 4 clauses

Ce qui entre dans l’évaluationRegistre du cycle de vie, plan de surveillance, développement sécurisé et inventaire des composants.

Estatuto de los Trabajadores · 1 clause

Ce qui entre dans l’évaluationTransparence algorithmique envers la représentation du personnel.

ISO 14971 · 10 clauses

Ce qui entre dans l’évaluationAnalyse et maîtrise des risques, risque résiduel, bénéfice-risque et risques introduits par les contrôles.

ISO/IEC 23894 · 8 clauses

Ce qui entre dans l’évaluationIdentification, évaluation et traitement des risques de l’IA, avec leur registre et un plan de suivi.

ISO/IEC 27001 · 19 clauses

Ce qui entre dans l’évaluationRisques de sécurité du système, contrôles et inventaire des composants logiciels ; suivi et revue.

ISO/IEC 42001 · 9 clauses

Ce qui entre dans l’évaluationRisques et impacts de l’IA, objectifs, contrôle opérationnel et revue du système.

Ley 15/2022 · 1 clause

Ce qui entre dans l’évaluationMinimisation des biais dans les algorithmes de décision.

MDR · 12 clauses

Ce qui entre dans l’évaluationSécurité et risques du logiciel médical, performances, cycle de vie et dépendances.

prEN 18228 · 28 clauses

Ce qui entre dans l’évaluationRisques de l’IA tout au long du cycle de vie : tests, contrôles et évaluation du risque résiduel.

prEN 18229-1 · 6 clauses

Ce qui entre dans l’évaluationRegistre du cycle de vie, mauvais usage prévisible et contrôles de supervision et d’intervention humaines.

prEN 18282 · 8 clauses

Ce qui entre dans l’évaluationMenaces de cybersécurité, résistance aux attaques, intégrité, accès, confidentialité et suivi.

prEN 18283 · 10 clauses

Ce qui entre dans l’évaluationBiais, gouvernance des données, mesure, atténuation et suivi des biais résiduels.

Le périmètre est partiel et concerne le système d’IA, pas l’organisation entière ni la norme complète. Ces nombres ne représentent pas un pourcentage de conformité.

Si cela convient jusqu'ici, la suite est une conversation.

Parlons-en