"Покажи мне, что ты соответствуешь... Не показывая мне ничего": Аудит программного обеспечения на основе нулевого знания для систем с искусственным интеллектом

Основная информация

• ID статьи: 2510.26576
• Название: "Show Me You Comply... Without Showing Me Anything": Zero-Knowledge Software Auditing for AI-Enabled Systems
• Авторы: Филиппо Скарамуцца, Ренато Кордейро Феррейра, Томаз Майя Суллер, Джованни Кватрочи, Дамиан Эндрю Тамбурри, Виллем-Ян ван ден Хойвел
• Категория: cs.SE (Инженерия программного обеспечения)
• Дата публикации: Подано на arXiv 30 октября 2025 г.
• Ссылка на статью: https://arxiv.org/abs/2510.26576

Аннотация

С широким внедрением систем искусственного интеллекта в критически важные области надежность становится важным препятствием, а нормативные требования (такие как Закон об искусственном интеллекте ЕС) требуют проверяемой подотчетности. Традиционные методы верификации и валидации программного обеспечения (такие как аудит программ, формальные методы или документирование моделей) характеризуются высокой стоимостью, значительным ручным трудом и неприменимостью к "черному ящику" моделей ИИ. В данной работе предлагается фреймворк ZKMLOps, который решает противоречие между прозрачностью аудита и защитой активов путем интеграции доказательств нулевого знания (ZKP) в жизненный цикл операций машинного обучения, обеспечивая модульный и повторяемый процесс проверки соответствия.

Исследовательский контекст и мотивация

Основная проблема

Исследование решает фундаментальный конфликт в аудите систем ИИ: законодательство требует высокой степени проверяемости и верифицируемости, но эта прозрачность противоречит необходимости защиты активов, подлежащих аудиту (таких как конфиденциальные данные и собственнические модели).

Значимость проблемы

1. Растущее нормативное давление: Нормативные акты, такие как Закон об искусственном интеллекте ЕС, классифицируют многие промышленные развертывания ИИ как высокорисковые, требуя доказательств соответствия
2. Применение в критически важных областях: Постоянный рост применения систем ИИ в финансах, здравоохранении, транспорте и других критически важных для безопасности областях
3. Неприменимость традиционных методов аудита: Существующие методы верификации программного обеспечения имеют ограниченную эффективность для непрозрачных моделей ИИ с миллионами параметров

Ограничения существующих подходов

1. Аудит программ: Высокие затраты и значительная зависимость от ручного труда
2. Формальные методы: Эффективны только при четко определенной логике реализации и детерминированном моделировании
3. Документирование моделей: Неспособность работать с "черным ящиком" моделей ИИ
4. Конфликт прозрачности: Раскрытие артефактов, необходимых для аудита, может привести к утечке интеллектуальной собственности или персональных данных

Исследовательская мотивация

Вдохновленные событиями, такими как скандал с выбросами Volkswagen, авторы признали необходимость метода, который может предоставить проверяемое доказательство соответствия без раскрытия конфиденциальной информации. Технология доказательств нулевого знания предоставляет возможность решить эту проблему.

Основные вклады

1. Предложение фреймворка ZKMLOps: Первая архитектура, систематически интегрирующая доказательства нулевого знания в жизненный цикл MLOps
2. Проверка практичности: Демонстрация практической ценности фреймворка на примере использования нормативного соответствия при аудите финансовых рисков
3. Оценка осуществимости: Эмпирическая оценка различных протоколов ZKP с анализом компромиссов производительности для моделей машинного обучения различной сложности
4. Инженерная реализация: Преобразование сложных криптографических процедур в модульный, повторяемый и поддерживаемый инженерный процесс

Подробное описание методологии

Определение задачи

Задача: Реализация систематического аудита систем ИИ в жизненном цикле MLOps, позволяющая организациям предоставлять проверяемые криптографические доказательства соответствия их систем конкретным требованиям и нормативным актам, одновременно защищая собственническую информацию и конфиденциальные данные.

Входные данные: Модель ИИ, набор данных, требования аудита Выходные данные: Доказательства нулевого знания и результаты верификации Ограничения: Защита интеллектуальной собственности и конфиденциальности данных

Архитектура модели

Общий дизайн архитектуры

Фреймворк ZKMLOps использует шестиугольную архитектуру (Hexagonal Architecture), разделенную на три основных уровня:

1. Методологический уровень: Принципы руководства жизненным циклом верификации систем машинного обучения (компоненты 1-4)
2. Уровень реализации: Архитектура доверенных сервисов (компоненты 5-8)
3. Уровень заинтересованных сторон: Интерфейсы доверенных заинтересованных сторон (компонент 9)

Функциональность основных компонентов

1. Жизненный цикл верификации систем машинного обучения (компоненты 1-4)

• Выбор жизненного цикла верификации MLOps: Выбор одного из четырех этапов на основе целей аудита
  • Верификация данных и предварительной обработки
  • Верификация обучения и автономных метрик
  • Верификация вывода
  • Верификация онлайн-метрик
• Выбор модели: Выбор методов верификации на основе технических требований развернутой модели
• Выбор протокола: Выбор наиболее подходящего протокола ZKP для архитектуры приложения
• Спецификация отслеживаемости ZKP: Создание документации, содержащей цели аудита, траекторию решений и выбранный протокол

2. Архитектура доверенных сервисов (компоненты 5-8)

• Ядро шестиугольной архитектуры: Реализация бизнес-логики рабочего процесса аудита
• Хранилище артефактов: Управление входными и выходными артефактами процесса аудита
• Скрипты ZKP: Выполнение конкретных реализаций различных протоколов ZKP
• Внутренний конечный автомат: Координация выполнения четырех этапов ZKP (установка, обмен ключами, доказательство, верификация)

Детали технической реализации

Дизайн конечного автомата: Использование паттерна Saga с оркестровкой и паттерна State, разбивающих каждый рабочий процесс аудита на четыре основных этапа:

Установка → Обмен ключами → Доказательство → Верификация

Паттерн внедрения зависимостей: Внедрение необходимых адаптеров во время выполнения через файлы конфигурации, поддерживающее гибкое переключение между различными протоколами ZKP.

Слой защиты от коррупции: Использование паттерна портов и адаптеров для абстракции внешних зависимостей, включая:

• Маршрутизаторы (входящие порты): REST API интерфейсы
• Интерпретаторы, конфигурация, хранилище (исходящие порты): Выполнение скриптов и управление данными

Технические инновации

1. Слияние криптографии и инженерии программного обеспечения: Первая систематическая интеграция технологии ZKP в жизненный цикл инженерии программного обеспечения
2. Модульный дизайн: Разделение основной логики аудита и конкретной реализации ZKP через архитектурные паттерны
3. Дерево решений выбора протокола: Предоставление систематического метода выбора протокола на основе целей аудита, этапа MLOps и типа модели
4. Поддержка асинхронных рабочих процессов: Адаптация к вычислительно интенсивной генерации доказательств в сценариях аудита

Экспериментальная установка

Данные оценки

Сравнение протоколов ZKP:

• ezkl: Поддержка формата ONNX, ускорение GPU
• SNARK: Реализация через Circom
• STARK: Реализация через Cairo
• GKR: Специальная оптимизация для нейронных сетей

Тестовые модели:

• Полносвязная нейронная сеть (FNN)
• Небольшая сверточная нейронная сеть (Small CNN)
• MNIST CNN
• LeNet5
• VGG11 (только GKR)

Метрики оценки

1. Время доказательства: Время, необходимое для генерации доказательства нулевого знания
2. Время верификации: Время, необходимое для верификации доказательства
3. Размер доказательства: Объем памяти для хранения сгенерированного доказательства

Экспериментальная среда

• Оборудование: 8-ядерный процессор Intel Xeon E5-2698 v4, 32 ГБ ОЗУ
• Операционная система: Ubuntu 22.04.4 LTS
• Статистический метод: 10 запусков каждого экспериментального условия с случайной инициализацией, вычисление среднего значения

Проверка использования

Аудит соответствия модели финансовых рисков:

• Сценарий: Финансовое учреждение доказывает аудиторской компании, что его оценка кредитного риска генерируется одобренной моделью
• Требование: Верификация корректности вывода без раскрытия собственнических параметров модели
• Выбор протокола: ezkl (неинтерактивный, прозрачная установка, стандартное представление, компактность, квантовая безопасность)

Результаты экспериментов

Основные результаты

Сравнение производительности полносвязной нейронной сети (FNN):

Сравнение производительности LeNet5:

Ключевые выводы

1. Зависимость выбора протокола от модели: Оптимальный протокол ZKP в высокой степени зависит от конкретной модели машинного обучения и метрик производительности
2. Явные компромиссы производительности:
   • ezkl показывает лучшие результаты на простых моделях
   • SNARK обеспечивает самую быструю генерацию доказательств на сложных моделях и наименьший размер доказательства
   • GKR демонстрирует превосходную производительность на специально оптимизированных моделях (LeNet5)
3. Применимость асинхронного аудита: Преимущество ezkl во времени верификации делает его особенно подходящим для асинхронных рабочих процессов аудита

Проверка практичности

Финансовый сценарий успешно демонстрирует применение фреймворка в реальной нормативной среде:

• Аудиторской компании требуется только верифицировать ключи и доказательства
• Финансовому учреждению не требуется раскрывать конфиденциальную информацию
• Весь процесс проверяем и защищает интеллектуальную собственность

Связанные работы

Исследования машинного обучения с нулевым знанием (ZKML)

Верификация вывода: ZEN, vCNN, zkCNN и другие, сосредоточенные на доказательствах нулевого знания для вывода нейронных сетей Верификация обучения: Недавние работы расширяют возможности до процесса обучения и верификации онлайн-метрик Приложения доверенного ИИ: ZKAudit, FaaS и другие, ориентированные на конкретные сценарии доверенного ИИ

Относительные преимущества данной работы

1. Систематический инженерный подход: Первое предоставление полного фреймворка интеграции MLOps, а не демонстрация отдельной технологии
2. Ориентация на практичность: Доказательство осуществимости через реальные сценарии использования и оценку производительности
3. Модульный дизайн: Поддержка гибкой интеграции и расширения различных протоколов ZKP

Заключение и обсуждение

Основные выводы

1. Техническая осуществимость: Технология ZKP может быть эффективно интегрирована в жизненный цикл MLOps, решая конфликт между прозрачностью аудита и защитой конфиденциальности
2. Инженерная ценность: Применение паттернов инженерии программного обеспечения позволяет преобразовать сложные криптографические процессы в поддерживаемую инженерную практику
3. Проверка практичности: Финансовый сценарий аудита демонстрирует применимость фреймворка в реальной нормативной среде

Ограничения

1. Внешняя валидность: Применимость фреймворка в других нормативных областях (таких как здравоохранение, автономные транспортные средства) требует дальнейшей проверки
2. Объем оценки: Основное внимание уделяется этапу верификации вывода, оценка других этапов MLOps относительно ограничена
3. Масштаб модели: Используемые в экспериментах модели относительно небольшие, характеристики производительности больших моделей могут отличаться
4. Зрелость протокола: Наблюдаемая производительность может отражать зрелость базовых криптографических библиотек, а не теоретическую эффективность

Направления будущих исследований

1. Проверка в реальной среде: Валидация производительности и масштабируемости фреймворка через промышленные тематические исследования
2. Функциональное расширение: Реализация рабочих процессов аудита для других атрибутов доверенного ИИ, таких как справедливость набора данных и устойчивость модели
3. Поддержка крупномасштабных моделей: Оптимизация фреймворка для поддержки сложных систем ИИ, таких как большие языковые модели

Глубокая оценка

Преимущества

1. Четкое определение проблемы: Точное выявление фундаментального конфликта между прозрачностью и защитой конфиденциальности в аудите ИИ
2. Сильная инновационность методологии: Первое систематическое инженерное применение технологии ZKP к MLOps
3. Отличный дизайн архитектуры: Надлежащее применение паттернов инженерии программного обеспечения, таких как шестиугольная архитектура и паттерн State
4. Комплексный дизайн экспериментов: Сочетание теоретического анализа и практической верификации использования, оценки производительности и доказательства осуществимости
5. Высокая практическая ценность: Решение реальных нормативных требований с прямой применимостью

Недостатки

1. Ограничения оценки: Основное внимание уделяется верификации вывода, поддержка других этапов, таких как обучение и предварительная обработка данных, недостаточна
2. Вопросы масштабируемости: Применимость к крупномасштабным промышленным системам ИИ требует дальнейшей проверки
3. Отсутствие анализа затрат: Отсутствие подробного анализа вычислительных затрат и экономической эффективности
4. Недостаточное рассмотрение безопасности: Недостаточное обсуждение предположений безопасности самих протоколов ZKP и потенциальных векторов атак

Влияние

1. Академический вклад: Введение нового направления исследований в область MLOps, продвижение перекрестного слияния криптографии и инженерии программного обеспечения
2. Практическая ценность: Предоставление операционного решения для проверки соответствия нормативным требованиям для регулирующих органов и предприятий
3. Технологическое продвижение: Возможное содействие внедрению технологии ZKP в большем количестве практических сценариев применения

Применимые сценарии

1. Нормативное соответствие: Аудит систем ИИ в сильно регулируемых отраслях, таких как финансы и здравоохранение
2. Защита интеллектуальной собственности: Сценарии, требующие верификации производительности модели без раскрытия деталей модели
3. Многосторонняя кооперация: Сценарии, такие как федеративное обучение, требующие верификации вклада при защите конфиденциальности данных
4. Аудит цепочки поставок: Поставщики услуг ИИ доказывают качество услуг клиентам без раскрытия деталей реализации

Библиография

Статья цитирует 72 связанные работы, включая в основном:

• Теоретические основы доказательств нулевого знания (Goldreich, Blum и др.)
• Исследования применения ZKML (ZEN, zkCNN, ZKAudit и др.)
• Паттерны инженерии программного обеспечения (Clean Architecture, Design Patterns и др.)
• Связанные работы по доверенному ИИ и MLOps (Liu et al., Kreuzberger et al. и др.)

Общая оценка: Это высококачественная исследовательская работа в области инженерии программного обеспечения, которая успешно объединяет передовую криптографическую технологию с практическими инженерными потребностями, предоставляя инновационное решение для аудита систем ИИ. Статья имеет значительные вклады в технологическую инновацию, практичность и инженерную реализацию, имея важное значение для продвижения развития доверенного ИИ.