2025-11-11T08:49:09.253291

"Show Me You Comply... Without Showing Me Anything": Zero-Knowledge Software Auditing for AI-Enabled Systems

Scaramuzza, Ferreira, Suller et al.
The increasing exploitation of Artificial Intelligence (AI) enabled systems in critical domains has made trustworthiness concerns a paramount showstopper, requiring verifiable accountability, often by regulation (e.g., the EU AI Act). Classical software verification and validation techniques, such as procedural audits, formal methods, or model documentation, are the mechanisms used to achieve this. However, these methods are either expensive or heavily manual and ill-suited for the opaque, "black box" nature of most AI models. An intractable conflict emerges: high auditability and verifiability are required by law, but such transparency conflicts with the need to protect assets being audited-e.g., confidential data and proprietary models-leading to weakened accountability. To address this challenge, this paper introduces ZKMLOps, a novel MLOps verification framework that operationalizes Zero-Knowledge Proofs (ZKPs)-cryptographic protocols allowing a prover to convince a verifier that a statement is true without revealing additional information-within Machine-Learning Operations lifecycles. By integrating ZKPs with established software engineering patterns, ZKMLOps provides a modular and repeatable process for generating verifiable cryptographic proof of compliance. We evaluate the framework's practicality through a study of regulatory compliance in financial risk auditing and assess feasibility through an empirical evaluation of top ZKP protocols, analyzing performance trade-offs for ML models of increasing complexity.
academic

"أظهر لي امتثالك... دون إظهار أي شيء": تدقيق البرامج بدون معرفة لأنظمة تمكينها الذكاء الاصطناعي

المعلومات الأساسية

  • معرّف الورقة: 2510.26576
  • العنوان: "أظهر لي امتثالك... دون إظهار أي شيء": تدقيق البرامج بدون معرفة لأنظمة تمكينها الذكاء الاصطناعي
  • المؤلفون: فيليبو سكارامزا، رينيتو كوردييرو فيريرا، توماز مايا سولر، جيوفاني كوارتروتشي، داميان أندرو تامبوري، ويليم-جان فان دن هويفل
  • التصنيف: cs.SE (هندسة البرمجيات)
  • تاريخ الإرسال: 30 أكتوبر 2025 إلى arXiv
  • رابط الورقة: https://arxiv.org/abs/2510.26576

الملخص

مع الانتشار الواسع لأنظمة الذكاء الاصطناعي في المجالات الحرجة، أصبحت مسألة الموثوقية عائقاً مهماً، والمتطلبات التنظيمية (مثل قانون الاتحاد الأوروبي للذكاء الاصطناعي) تتطلب المساءلة القابلة للتحقق. تعاني تقنيات التحقق والتأكيد من البرامج التقليدية (مثل تدقيق البرامج والطرق الرسمية أو توثيق النماذج) من تكاليف عالية وعمليات يدوية كثيفة وعدم الملاءمة لطبيعة "الصندوق الأسود" لنماذج الذكاء الاصطناعي. تقترح هذه الورقة إطار عمل ZKMLOps، الذي يحل التناقض بين شفافية التدقيق وحماية الأصول من خلال دمج إثباتات بدون معرفة (ZKPs) في دورة حياة عمليات التعلم الآلي، مما يوفر عملية التحقق من الامتثال المعيارية والقابلة للتكرار.

الخلفية البحثية والدافع

المشكلة الأساسية

يهدف هذا البحث إلى حل التضارب الأساسي في تدقيق أنظمة الذكاء الاصطناعي: القوانين تتطلب درجة عالية من القابلية للتدقيق والتحقق، لكن هذه الشفافية تتعارض مع الحاجة إلى حماية الأصول المراد تدقيقها (مثل البيانات السرية والنماذج الملكية).

أهمية المشكلة

  1. زيادة الضغط التنظيمي: تصنف اللوائح مثل قانون الاتحاد الأوروبي للذكاء الاصطناعي العديد من نشرات الذكاء الاصطناعي الصناعية كعالية المخاطر، مما يتطلب تقديم أدلة الامتثال
  2. تطبيقات في المجالات الحرجة: ينمو استخدام أنظمة الذكاء الاصطناعي في المجالات الآمنة حرجة مثل المالية والرعاية الصحية والنقل
  3. عدم ملاءمة طرق التدقيق التقليدية: تقنيات التحقق من البرامج الموجودة محدودة الفعالية للنماذج غير الشفافة للذكاء الاصطناعي التي تحتوي على ملايين المعاملات

قيود الطرق الموجودة

  1. تدقيق البرامج: مكلف وعتمد بشكل كبير على العمليات اليدوية
  2. الطرق الرسمية: فعالة فقط عندما تكون منطق التنفيذ واضحاً وقابلاً للنمذجة بشكل حتمي
  3. توثيق النموذج: لا يمكن التعامل مع طبيعة "الصندوق الأسود" لنماذج الذكاء الاصطناعي
  4. تضارب الشفافية: قد يؤدي الكشف عن الأعمال المطلوبة للتدقيق إلى تسرب الملكية الفكرية أو البيانات الشخصية

الدافع البحثي

مستوحاة من أحداث مثل فضيحة انبعاثات فولكس فاجن، أدرك المؤلفون الحاجة إلى طريقة يمكنها توفير إثبات امتثال قابل للتحقق دون تسرب المعلومات الحساسة، وتوفر تقنية الإثبات بدون معرفة إمكانية حل هذه المشكلة.

المساهمات الأساسية

  1. اقتراح إطار عمل ZKMLOps: أول بنية تدمج إثباتات بدون معرفة بشكل منهجي في دورة حياة MLOps
  2. التحقق من الجدوى العملية: عرض القيمة التطبيقية الفعلية للإطار من خلال حالة استخدام الامتثال التنظيمي لتدقيق المخاطر المالية
  3. تقييم الجدوى: تقييم تجريبي لبروتوكولات ZKP متعددة، تحليل المقايضات الأداء لنماذج ML بدرجات تعقيد مختلفة
  4. التنفيذ الهندسي: تحويل العمليات التشفيرية المعقدة إلى عمليات هندسية معيارية وقابلة للتكرار وقابلة للصيانة

شرح الطريقة

تعريف المهمة

المهمة: تحقيق تدقيق منهجي لأنظمة الذكاء الاصطناعي في دورة حياة MLOps، مما يمكّن المنظمات من تقديم إثبات تشفيري قابل للتحقق يثبت أن أنظمتها تمتثل لمتطلبات وأنظمة محددة، مع حماية المعلومات الملكية والبيانات الحساسة.

المدخلات: نموذج الذكاء الاصطناعي، مجموعة البيانات، متطلبات التدقيق المخرجات: إثبات بدون معرفة ونتائج التحقق القيود: حماية الملكية الفكرية وخصوصية البيانات

معمارية النموذج

تصميم المعمارية الشاملة

يعتمد إطار عمل ZKMLOps على معمارية سادسة الأضلاع (Hexagonal Architecture)، مقسمة إلى ثلاث طبقات رئيسية:

  1. الطبقة المنهجية: مبادئ توجيهية لدورة حياة التحقق من أنظمة ML (المكونات 1-4)
  2. طبقة التنفيذ: معمارية الخدمات الموثوقة (المكونات 5-8)
  3. طبقة أصحاب المصلحة: واجهات أصحاب المصلحة الموثوقين (المكون 9)

وظائف المكونات الأساسية

1. دورة حياة التحقق من أنظمة ML (المكونات 1-4)

  • اختيار دورة حياة التحقق من MLOps: اختيار أحد المراحل الأربع بناءً على الغرض من التدقيق
    • التحقق من البيانات والمعالجة المسبقة
    • التحقق من التدريب والمقاييس غير المتصلة
    • التحقق من الاستدلال
    • التحقق من المقاييس عبر الإنترنت
  • اختيار النموذج: اختيار تقنية التحقق بناءً على المتطلبات التقنية للنموذج المنشور
  • اختيار البروتوكول: اختيار بروتوكول ZKP الأنسب لمعمارية التطبيق
  • مواصفات قابلية التتبع ZKP: إنشاء وثيقة تحتوي على الغرض من التدقيق ومسار القرار والبروتوكول المحدد

2. معمارية الخدمات الموثوقة (المكونات 5-8)

  • نواة معمارية سادسة الأضلاع: تنفيذ منطق العمل لسير عمل التدقيق
  • تخزين الأعمال: إدارة أعمال الإدخال والإخراج أثناء عملية التدقيق
  • نصوص ZKP: تنفيذ بروتوكولات ZKP المختلفة
  • آلة الحالة الداخلية: تنسيق تنفيذ خطوات ZKP الأربع (الإعداد وتبادل المفاتيح والإثبات والتحقق)

تفاصيل التنفيذ التقني

تصميم آلة الحالة: استخدام نمط Saga للتنسيق ونمط الحالة، تقسيم كل سير عمل تدقيق إلى أربع خطوات أساسية:

الإعداد → تبادل المفاتيح → الإثبات → التحقق

نمط الحقن بالاعتماد: حقن المحولات المطلوبة في وقت التشغيل من خلال ملف التكوين، مما يدعم التبديل المرن بين بروتوكولات ZKP المتعددة.

طبقة مكافحة الفساد: استخدام نمط المنافذ والمحولات لتجريد التبعيات الخارجية، بما في ذلك:

  • الموجهات (المنافذ الداخلة): واجهة REST API
  • المترجمون والتكوين والتخزين (المنافذ الخارجة): تنفيذ النصوص وإدارة البيانات

نقاط الابتكار التقني

  1. دمج التشفير وهندسة البرمجيات: أول دمج منهجي لتقنية ZKP في دورة حياة هندسة البرمجيات
  2. التصميم المعياري: فصل منطق التدقيق الأساسي عن تنفيذ ZKP المحدد من خلال أنماط المعمارية
  3. شجرة قرار اختيار البروتوكول: توفير طريقة منهجية لاختيار البروتوكول بناءً على الغرض من التدقيق ومرحلة MLOps ونوع النموذج
  4. دعم سير العمل غير المتزامن: التكيف مع الحاجة إلى توليد الإثبات الذي يتطلب حسابات كثيفة في سيناريوهات التدقيق

إعداد التجربة

بيانات التقييم

مقارنة بروتوكولات ZKP:

  • ezkl: يدعم تنسيق ONNX وتسريع GPU
  • SNARK: تنفيذ من خلال Circom
  • STARK: تنفيذ من خلال Cairo
  • GKR: محسّن خصيصاً للشبكات العصبية

نماذج الاختبار:

  • الشبكات العصبية ذات التغذية الأمامية (FNN)
  • شبكات عصبية تلافيفية صغيرة (Small CNN)
  • MNIST CNN
  • LeNet5
  • VGG11 (GKR فقط)

مؤشرات التقييم

  1. وقت الإثبات: الوقت المطلوب لتوليد إثبات بدون معرفة
  2. وقت التحقق: الوقت المطلوب للتحقق من الإثبات
  3. حجم الإثبات: مساحة التخزين للإثبات المولد

بيئة التجربة

  • الأجهزة: معالج Intel Xeon E5-2698 v4 بـ 8 أنوية، 32 جيجابايت RAM
  • نظام التشغيل: Ubuntu 22.04.4 LTS
  • الطريقة الإحصائية: تشغيل كل شرط تجريبي 10 مرات مع تهيئة عشوائية، حساب المتوسط

التحقق من حالة الاستخدام

تدقيق الامتثال لنموذج المخاطر المالية:

  • السيناريو: تثبت المؤسسة المالية لشركة التدقيق أن درجة مخاطر الائتمان الخاصة بها تم إنشاؤها بواسطة النموذج المعتمد المعلن
  • المتطلبات: التحقق من صحة الاستدلال دون الكشف عن معاملات النموذج الملكية
  • اختيار البروتوكول: ezkl (غير تفاعلي، إعداد شفاف، تمثيل قياسي، إيجاز، أمان ما بعد الكم)

نتائج التجربة

النتائج الرئيسية

مقارنة أداء الشبكات العصبية ذات التغذية الأمامية (FNN):

البروتوكولوقت الإثبات (ميلي ثانية)وقت التحقق (ميلي ثانية)حجم الإثبات (بايت)
SNARK752555805.4
STARK314,998.112.11280,000
ezkl492.799.8023,958.9

مقارنة أداء LeNet5:

البروتوكولوقت الإثبات (ميلي ثانية)وقت التحقق (ميلي ثانية)حجم الإثبات (بايت)
SNARK18,788.5611804.4
GKR331.9991.3145,718.75
ezkl65,678.21100.80767,120.3

النتائج الرئيسية

  1. اعتماد اختيار البروتوكول على النموذج: يعتمد بروتوكول ZKP الأمثل بشكل كبير على نموذج ML المحدد ومؤشرات الأداء
  2. مقايضات الأداء واضحة:
    • يعمل ezkl بشكل أفضل على النماذج البسيطة
    • يوفر SNARK أسرع توليد إثبات على النماذج المعقدة وأصغر حجم إثبات
    • يتفوق GKR في الأداء على النماذج المحسّنة بشكل خاص (LeNet5)
  3. قابلية تطبيق التدقيق غير المتزامن: تفوق وقت التحقق من ezkl يجعله مناسباً بشكل خاص لسير عمل التدقيق غير المتزامن

التحقق من الجدوى العملية

أظهرت حالة الاستخدام المالية بنجاح تطبيق الإطار في بيئة تنظيمية حقيقية:

  • تحتاج شركة التدقيق فقط إلى التحقق من المفاتيح والإثبات
  • لا تحتاج المؤسسة المالية إلى الكشف عن أي معلومات سرية
  • العملية برمتها قابلة للتحقق وتحمي الملكية الفكرية

الأعمال ذات الصلة

بحث التعلم الآلي بدون معرفة (ZKML)

التحقق من الاستدلال: ZEN و vCNN و zkCNN وغيرها تركز على إثباتات بدون معرفة للشبكات العصبية التحقق من التدريب: توسع الأعمال الحديثة إلى عملية التدريب والتحقق من المقاييس عبر الإنترنت تطبيقات الذكاء الاصطناعي الموثوق: ZKAudit و FaaS وغيرها موجهة لسيناريوهات الذكاء الاصطناعي الموثوق المحددة

المزايا النسبية للورقة

  1. نهج هندسي منهجي: أول إطار عمل متكامل لتكامل MLOps، وليس عرضاً تقنياً واحداً
  2. التوجه العملي: إثبات الجدوى من خلال حالات استخدام حقيقية وتقييمات الأداء
  3. التصميم المعياري: دعم التكامل المرن والتوسع لبروتوكولات ZKP المتعددة

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. الجدوى التقنية: يمكن دمج تقنية ZKP بشكل فعال في دورة حياة MLOps، مما يحل التضارب بين شفافية التدقيق وحماية الخصوصية
  2. القيمة الهندسية: من خلال تطبيق أنماط هندسة البرمجيات، يمكن تحويل العمليات التشفيرية المعقدة إلى ممارسات هندسية قابلة للصيانة
  3. التحقق من الجدوى: تثبت حالة استخدام التدقيق المالي قابلية تطبيق الإطار في بيئة تنظيمية حقيقية

القيود

  1. الصحة الخارجية: تطبيق الإطار في مجالات تنظيمية أخرى (مثل الرعاية الصحية والقيادة الذاتية) يتطلب مزيد من التحقق
  2. نطاق التقييم: يركز بشكل أساسي على مرحلة التحقق من الاستدلال، والتقييم في مراحل MLOps الأخرى محدود نسبياً
  3. حجم النموذج: تستخدم التجارب نماذج صغيرة نسبياً، وقد تختلف خصائص الأداء للنماذج الكبيرة
  4. نضج البروتوكول: قد تعكس الأداء المرصودة نضج مكتبات التشفير الأساسية وليس الكفاءة النظرية

الاتجاهات المستقبلية

  1. التحقق في بيئات حقيقية: التحقق من أداء الإطار وقابلية التوسع من خلال دراسات حالات صناعية
  2. التوسع الوظيفي: تنفيذ سير عمل التدقيق لخصائص الذكاء الاصطناعي الموثوق الأخرى، مثل عدالة مجموعة البيانات وقوة النموذج
  3. دعم النماذج الكبيرة: تحسين الإطار لدعم نماذج معقدة مثل نماذج اللغة الكبيرة

التقييم المتعمق

المزايا

  1. تعريف المشكلة واضح: تحديد دقيق للتضارب الأساسي بين شفافية التدقيق وحماية الخصوصية في تدقيق الذكاء الاصطناعي
  2. قوة الابتكار الطريقة: أول تطبيق منهجي وهندسي لتقنية ZKP في MLOps
  3. تصميم معمارية ممتاز: التطبيق المناسب لأنماط هندسة البرمجيات مثل معمارية سادسة الأضلاع ونمط الحالة
  4. تصميم تجربة شامل: تحليل نظري وتحقق من حالات استخدام عملية، تقييم أداء وإثبات جدوى
  5. قيمة عملية عالية: حل متطلبات تنظيمية فعلية، مع قيمة تطبيقية مباشرة

أوجه القصور

  1. قيود التقييم: يركز بشكل أساسي على التحقق من الاستدلال، والدعم لمراحل أخرى مثل التدريب ومعالجة البيانات المسبقة غير كافٍ
  2. شكوك قابلية التوسع: تطبيق أنظمة الذكاء الاصطناعي الصناعية الكبيرة يتطلب مزيد من التحقق
  3. نقص تحليل التكاليف: نقص تحليل تفصيلي لتكاليف الحساب والفوائد الاقتصادية
  4. اعتبارات الأمان: النقاش حول افتراضات الأمان لبروتوكولات ZKP نفسها والمتجهات الهجومية المحتملة غير كافٍ

التأثير

  1. المساهمة الأكاديمية: إدخال اتجاه بحثي جديد في مجال MLOps، تعزيز التكامل بين التشفير وهندسة البرمجيات
  2. القيمة العملية: توفير حل امتثال قابل للتشغيل للهيئات التنظيمية والمؤسسات
  3. دفع التكنولوجيا: قد يعزز اعتماد تقنية ZKP في المزيد من سيناريوهات التطبيق الفعلية

السيناريوهات المطبقة

  1. الامتثال التنظيمي: تدقيق أنظمة الذكاء الاصطناعي في الصناعات المنظمة بشدة مثل المالية والرعاية الصحية
  2. حماية الملكية الفكرية: سيناريوهات التحقق من أداء النموذج دون الكشف عن تفاصيل النموذج
  3. التعاون متعدد الأطراف: سيناريوهات مثل التعلم الفيدرالي التي تتطلب التحقق من المساهمة مع حماية خصوصية البيانات
  4. تدقيق سلسلة التوريد: إثبات مزودي خدمات الذكاء الاصطناعي لجودة الخدمة للعملاء دون الكشف عن تفاصيل التنفيذ

المراجع

تستشهد الورقة بـ 72 مرجعاً ذا صلة، تشمل بشكل أساسي:

  • نظرية أساسيات الإثبات بدون معرفة (Goldreich و Blum وغيرهم)
  • بحث تطبيقات ZKML (ZEN و zkCNN و ZKAudit وغيرهم)
  • أنماط هندسة البرمجيات (Clean Architecture و Design Patterns وغيرهم)
  • الأعمال ذات الصلة بالذكاء الاصطناعي الموثوق و MLOps (Liu et al. و Kreuzberger et al. وغيرهم)

التقييم الشامل: هذه ورقة بحثية عالية الجودة في هندسة البرمجيات، تجمع بنجاح بين تقنية التشفير الحديثة والاحتياجات الهندسية الفعلية، مما توفر حلاً مبتكراً لتدقيق أنظمة الذكاء الاصطناعي. تحقق الورقة مساهمات كبيرة في الابتكار التقني والجدوى العملية والهندسة، وتتمتع بأهمية كبيرة في تعزيز تطور الذكاء الاصطناعي الموثوق.