« Montrez-moi votre conformité... Sans rien me montrer » : Audit de logiciels à connaissance zéro pour les systèmes basés sur l'IA

Informations de base

• ID de l'article : 2510.26576
• Titre : « Montrez-moi votre conformité... Sans rien me montrer » : Audit de logiciels à connaissance zéro pour les systèmes basés sur l'IA
• Auteurs : Filippo Scaramuzza, Renato Cordeiro Ferreira, Tomaz Maia Suller, Giovanni Quattrocchi, Damian Andrew Tamburri, Willem-Jan van den Heuvel
• Classification : cs.SE (Génie logiciel)
• Date de soumission : 30 octobre 2025 sur arXiv
• Lien de l'article : https://arxiv.org/abs/2510.26576

Résumé

Avec l'application généralisée des systèmes d'intelligence artificielle dans les domaines critiques, la question de la fiabilité est devenue un obstacle majeur, et les exigences réglementaires (telles que la Loi sur l'IA de l'Union européenne) nécessitent une responsabilité vérifiable. Les techniques traditionnelles de vérification et de validation de logiciels (telles que l'audit de programme, les méthodes formelles ou la documentation de modèles) présentent des problèmes de coûts élevés, de nombreuses opérations manuelles et d'inadéquation à la nature « boîte noire » des modèles d'IA. Cet article propose le cadre ZKMLOps, qui résout la contradiction entre la transparence d'audit et la protection des actifs en intégrant les preuves à connaissance zéro (ZKP) dans le cycle de vie des opérations d'apprentissage automatique, fournissant un processus de vérification de conformité modulaire et reproductible.

Contexte de recherche et motivation

Problème fondamental

Cette recherche aborde un conflit fondamental dans l'audit des systèmes d'IA : les exigences légales imposent un haut degré d'auditabilité et de vérifiabilité, mais cette transparence entre en conflit avec le besoin de protéger les actifs audités (tels que les données confidentielles et les modèles propriétaires).

Importance du problème

1. Augmentation de la pression réglementaire : Les réglementations telles que la Loi sur l'IA de l'Union européenne classent de nombreux déploiements d'IA industriels comme à haut risque, exigeant des preuves de conformité
2. Applications dans les domaines critiques : L'utilisation croissante des systèmes d'IA dans les domaines critiques pour la sécurité tels que la finance, la médecine et les transports
3. Inadéquation des méthodes d'audit traditionnelles : Les techniques de vérification de logiciels existantes ont une efficacité limitée pour les modèles d'IA opaques comportant des millions de paramètres

Limitations des approches existantes

1. Audit de programme : Coûteux et fortement dépendant des opérations manuelles
2. Méthodes formelles : Efficaces uniquement lorsque la logique d'implémentation est claire et peut être modélisée de manière déterministe
3. Documentation de modèles : Incapable de traiter la nature « boîte noire » des modèles d'IA
4. Conflit de transparence : La divulgation des artefacts requis pour l'audit peut révéler la propriété intellectuelle ou les données personnelles

Motivation de la recherche

Inspirés par des événements tels que le scandale des émissions de Volkswagen, les auteurs ont reconnu le besoin d'une méthode capable de fournir une preuve de conformité vérifiable sans révéler d'informations sensibles. La technologie des preuves à connaissance zéro offre une solution possible à ce problème.

Contributions principales

1. Proposition du cadre ZKMLOps : Première architecture qui intègre systématiquement les preuves à connaissance zéro dans le cycle de vie MLOps
2. Validation de la praticabilité : Démonstration de la valeur d'application pratique du cadre par le biais d'un cas d'usage de conformité réglementaire en audit de risque financier
3. Évaluation de la faisabilité : Évaluation empirique de plusieurs protocoles ZKP, analysant les compromis de performance pour les modèles ML de différentes complexités
4. Implémentation d'ingénierie : Transformation de processus cryptographiques complexes en processus d'ingénierie modulaires, reproductibles et maintenables

Explication détaillée de la méthode

Définition de la tâche

Tâche : Réaliser un audit systématique des systèmes d'IA dans le cycle de vie MLOps, permettant aux organisations de fournir une preuve cryptographique vérifiable démontrant que leurs systèmes sont conformes à des exigences et réglementations spécifiques, tout en protégeant les informations propriétaires et les données sensibles.

Entrées : Modèle d'IA, ensemble de données, exigences d'audit Sorties : Preuve à connaissance zéro et résultats de vérification Contraintes : Protection de la propriété intellectuelle et de la confidentialité des données

Architecture du modèle

Conception architecturale globale

Le cadre ZKMLOps adopte une architecture hexagonale (Hexagonal Architecture), divisée en trois niveaux principaux :

1. Niveau méthodologique : Principes directeurs du cycle de vie de vérification des systèmes ML (composants 1-4)
2. Niveau d'implémentation : Architecture de services de confiance (composants 5-8)
3. Niveau des parties prenantes : Interface des parties prenantes de confiance (composant 9)

Fonctionnalités des composants principaux

1. Cycle de vie de vérification des systèmes ML (composants 1-4)

• Sélection du cycle de vie de vérification MLOps : Sélection de l'une des quatre phases en fonction de l'objectif d'audit
  • Vérification des données et du prétraitement
  • Vérification de l'entraînement et des métriques hors ligne
  • Vérification de l'inférence
  • Vérification des métriques en ligne
• Sélection du modèle : Sélection des techniques de vérification en fonction des exigences techniques du modèle déployé
• Sélection du protocole : Sélection du protocole ZKP le plus approprié pour l'architecture d'application
• Spécification de traçabilité ZKP : Génération de documentation contenant l'objectif d'audit, la trajectoire de décision et le protocole sélectionné

2. Architecture de services de confiance (composants 5-8)

• Cœur de l'architecture hexagonale : Implémentation de la logique métier du flux de travail d'audit
• Stockage d'artefacts : Gestion des artefacts d'entrée et de sortie au cours du processus d'audit
• Scripts ZKP : Exécution d'implémentations concrètes de différents protocoles ZKP
• Machine d'état interne : Coordination de l'exécution des quatre étapes ZKP (configuration, échange de clés, preuve, vérification)

Détails de l'implémentation technique

Conception de la machine d'état : Utilisation du modèle Saga d'orchestration et du modèle d'état, décomposant chaque flux de travail d'audit en quatre étapes fondamentales :

Configuration → Échange de clés → Preuve → Vérification

Modèle d'injection de dépendances : Injection au moment de l'exécution des adaptateurs requis via fichier de configuration, supportant le changement flexible de plusieurs protocoles ZKP.

Couche anticorruption : Utilisation du modèle de ports et d'adaptateurs pour abstraire les dépendances externes, incluant :

• Routeur (port entrant) : Interface API REST
• Interpréteur, configuration, stockage (ports sortants) : Exécution de scripts et gestion des données

Points d'innovation technique

1. Fusion de la cryptographie et de l'ingénierie logicielle : Première intégration systématique de la technologie ZKP dans le cycle de vie de l'ingénierie logicielle
2. Conception modulaire : Découplage de la logique d'audit principale et de l'implémentation concrète de ZKP par le biais de modèles architecturaux
3. Arbre de décision de sélection de protocole : Fourniture d'une méthode systématique de sélection de protocole basée sur l'objectif d'audit, la phase MLOps et le type de modèle
4. Support de flux de travail asynchrone : Adaptation aux besoins de génération de preuves intensives en calcul dans les scénarios d'audit

Configuration expérimentale

Données d'évaluation

Comparaison des protocoles ZKP :

• ezkl : Support du format ONNX, accélération GPU
• SNARK : Implémentation via Circom
• STARK : Implémentation via Cairo
• GKR : Optimisation spécialisée pour les réseaux de neurones

Modèles de test :

• Réseau de neurones à propagation avant (FNN)
• Petit réseau de neurones convolutifs (Small CNN)
• CNN MNIST
• LeNet5
• VGG11 (GKR uniquement)

Métriques d'évaluation

1. Temps de preuve : Temps requis pour générer une preuve à connaissance zéro
2. Temps de vérification : Temps requis pour vérifier une preuve
3. Taille de preuve : Espace de stockage de la preuve générée

Environnement expérimental

• Matériel : Processeur Intel Xeon E5-2698 v4 8 cœurs, 32 Go de RAM
• Système d'exploitation : Ubuntu 22.04.4 LTS
• Méthode statistique : Chaque condition expérimentale exécutée 10 fois avec initialisation aléatoire, calcul de la moyenne

Validation des cas d'usage

Audit de conformité du modèle de risque financier :

• Scénario : Une institution financière prouve à une société d'audit que son score de risque de crédit est généré par le modèle approuvé déclaré
• Exigence : Vérifier l'exactitude de l'inférence sans exposer les paramètres du modèle propriétaire
• Sélection du protocole : ezkl (non interactif, configuration transparente, représentation standard, concision, sécurité post-quantique)

Résultats expérimentaux

Résultats principaux

Comparaison des performances du réseau de neurones à propagation avant (FNN) :

Comparaison des performances de LeNet5 :

Conclusions clés

1. Dépendance du protocole au modèle : Le protocole ZKP optimal dépend fortement du modèle ML spécifique et des métriques de performance
2. Compromis de performance évidents :
   • ezkl affiche les meilleures performances sur les modèles simples
   • SNARK génère les preuves les plus rapides et les plus petites sur les modèles complexes
   • GKR affiche des performances supérieures sur les modèles spécialement optimisés (LeNet5)
3. Applicabilité de l'audit asynchrone : L'avantage du temps de vérification d'ezkl le rend particulièrement adapté aux flux de travail d'audit asynchrones

Validation de la praticabilité

Le cas d'usage financier a démontré avec succès l'application du cadre dans un environnement réglementaire réel :

• La société d'audit ne doit vérifier que les clés et les preuves
• L'institution financière n'a besoin de divulguer aucune information confidentielle
• L'ensemble du processus est vérifiable et protège la propriété intellectuelle

Travaux connexes

Recherche en apprentissage automatique à connaissance zéro (ZKML)

Vérification de l'inférence : ZEN, vCNN, zkCNN et autres se concentrant sur les preuves à connaissance zéro pour l'inférence de réseaux de neurones Vérification de l'entraînement : Les travaux récents s'étendent au processus d'entraînement et à la vérification des métriques en ligne Applications d'IA de confiance : ZKAudit, FaaS et autres ciblant des scénarios d'IA de confiance spécifiques

Avantages relatifs de cet article

1. Approche d'ingénierie systématique : Première fourniture d'un cadre d'intégration MLOps complet, plutôt qu'une simple démonstration technologique
2. Orientation pratique : Preuve de faisabilité par des cas d'usage réels et une évaluation des performances
3. Conception modulaire : Support de l'intégration flexible et de l'extension de plusieurs protocoles ZKP

Conclusion et discussion

Conclusions principales

1. Faisabilité technique : La technologie ZKP peut être efficacement intégrée dans le cycle de vie MLOps, résolvant le conflit entre la transparence d'audit et la protection de la vie privée
2. Valeur d'ingénierie : Par l'application de modèles d'ingénierie logicielle, les processus cryptographiques complexes peuvent être transformés en pratiques d'ingénierie maintenables
3. Validation de la praticabilité : Le cas d'usage d'audit financier démontre l'applicabilité du cadre dans des environnements réglementaires réels

Limitations

1. Validité externe : L'applicabilité du cadre dans d'autres domaines réglementaires (tels que la médecine, les véhicules autonomes) reste à vérifier
2. Portée d'évaluation : Accent principal sur la phase de vérification de l'inférence, évaluation relativement limitée des autres phases MLOps
3. Échelle du modèle : Les modèles utilisés dans les expériences sont relativement petits, les caractéristiques de performance des grands modèles peuvent différer
4. Maturité du protocole : Les performances observées peuvent refléter la maturité des bibliothèques cryptographiques sous-jacentes plutôt que l'efficacité théorique

Directions futures

1. Validation en environnement réel : Vérification des performances et de la scalabilité du cadre par le biais d'études de cas industriels
2. Extension fonctionnelle : Implémentation de flux de travail d'audit pour d'autres attributs d'IA de confiance, tels que l'équité des ensembles de données et la robustesse des modèles
3. Support des modèles à grande échelle : Optimisation du cadre pour supporter les systèmes d'IA complexes tels que les grands modèles de langage

Évaluation approfondie

Points forts

1. Définition claire du problème : Identification précise du conflit fondamental entre la transparence d'audit et la protection de la vie privée dans l'audit d'IA
2. Forte innovativité de la méthode : Première application systématique et d'ingénierie de la technologie ZKP à MLOps
3. Conception architecturale excellente : Application appropriée de modèles d'ingénierie logicielle tels que l'architecture hexagonale et le modèle d'état
4. Conception expérimentale complète : Combinaison d'analyse théorique et de validation de cas pratiques, combinaison d'évaluation des performances et d'argumentation de faisabilité
5. Valeur pratique élevée : Résolution des besoins réglementaires réels, possédant une valeur d'application directe

Insuffisances

1. Limitations d'évaluation : Accent principal sur la vérification de l'inférence, support insuffisant pour les phases telles que l'entraînement et le prétraitement des données
2. Questions de scalabilité : L'applicabilité aux systèmes d'IA industriels à grande échelle nécessite une vérification supplémentaire
3. Analyse des coûts manquante : Manque d'analyse détaillée des coûts de calcul et des avantages économiques
4. Considérations de sécurité : Discussion insuffisante des hypothèses de sécurité des protocoles ZKP eux-mêmes et des vecteurs d'attaque potentiels

Impact

1. Contribution académique : Introduction d'une nouvelle direction de recherche dans le domaine MLOps, promotion de la fusion interdisciplinaire entre la cryptographie et l'ingénierie logicielle
2. Valeur pratique : Fourniture aux organismes de réglementation et aux entreprises d'une solution de vérification de conformité opérationnelle
3. Promotion technologique : Peut promouvoir l'adoption de la technologie ZKP dans davantage de scénarios d'application réels

Scénarios d'application

1. Conformité réglementaire : Audit des systèmes d'IA dans les secteurs fortement réglementés tels que la finance et la médecine
2. Protection de la propriété intellectuelle : Scénarios nécessitant de vérifier les performances du modèle sans révéler les détails du modèle
3. Collaboration multipartite : Scénarios tels que l'apprentissage fédéré nécessitant de vérifier les contributions tout en protégeant la confidentialité des données
4. Audit de la chaîne d'approvisionnement : Preuve par les fournisseurs de services d'IA de la qualité des services aux clients sans révéler les détails de l'implémentation

Références

L'article cite 72 références connexes, incluant principalement :

• Théorie fondamentale des preuves à connaissance zéro (Goldreich, Blum, etc.)
• Recherche en applications ZKML (ZEN, zkCNN, ZKAudit, etc.)
• Modèles d'ingénierie logicielle (Clean Architecture, Design Patterns, etc.)
• Travaux connexes en IA de confiance et MLOps (Liu et al., Kreuzberger et al., etc.)

Évaluation globale : Ceci est un article de recherche en génie logiciel de haute qualité qui réussit à combiner la technologie cryptographique de pointe avec les besoins d'ingénierie pratiques, fournissant une solution innovante pour l'audit des systèmes d'IA. L'article apporte des contributions significatives en innovation technique, praticabilité et ingénierie, et revêt une importance majeure pour promouvoir le développement de l'IA de confiance.