Предсказание дефектов программного обеспечения с использованием модели Autoencoder Transformer

Основная информация

• ID статьи: 2510.10840
• Название: Software Defect Prediction using Adaptive Differential Evolution-based Quantum Variational Autoencoder-Transformer (ADE-QVAET) Model
• Авторы: Seshu Babu Barma, Mohanakrishnan Hariharan, Satish Arvapalli (Apple Inc.)
• Классификация: cs.SE cs.AI
• Дата публикации/конференция: Препринт 2024 года
• Ссылка на статью: https://arxiv.org/abs/2510.10840

Аннотация

В данной работе предложен метод инженерии качества на основе AI-ML, который повышает оценку качества программного обеспечения путём предсказания дефектов. Для решения проблем существующих моделей машинного обучения при работе с зашумленными данными, дисбалансом данных, распознаванием образов, извлечением признаков и обобщением разработана модель квантового вариационного автокодировщика-Transformer (QVAET) на основе адаптивной дифференциальной эволюции (ADE) — модель ADE-QVAET. Данная модель объединяет оптимизацию ADE и архитектуру QVAET для захвата высокомерных скрытых признаков и сохранения последовательных зависимостей, что повышает точность предсказания дефектов. При соотношении обучения 90% модель ADE-QVAET достигла точности 98,08%, полноты 92,45%, чувствительности 94,67% и F1-оценки 98,12%.

Исследовательский контекст и мотивация

Определение проблемы

1. Высокая стоимость тестирования программного обеспечения: Тестирование ПО в корпоративной среде сталкивается с проблемами сложных данных и бизнес-требований, инженеры качества тратят 30-40% времени на ручное выполнение тестов
2. Недостаточная профилактика дефектов: Традиционные методы тестирования полагаются на обнаружение ошибок после завершения разработки, игнорируя потенциальные сбои, которые можно предотвратить раньше
3. Недостаточная точность моделей: Существующие технологии AI-ML предсказывают дефекты с точностью ниже 80%
4. Изолированные знания: Исторические знания о тестировании ограничены индивидуальным опытом, а не являются организационным активом

Значимость исследования

В сложных корпоративных системах, таких как облачные вычисления, микросервисы, IoT и реализация AI, сложная бизнес-логика и технологические зависимости создают экспоненциальную сложность, с которой традиционные методы сталкиваются с ограничениями, включая галлюцинации, недостаточное контекстное генерирование и потерю критических бизнес-отношений в процессе поиска.

Ограничения существующих методов

• Проблемы качества данных: Неочищенные данные содержат избыточную информацию, влияющую на точность прогностических моделей
• Склонность к переобучению: Модели глубокого обучения легко переобучаются на ограниченных или зашумленных данных
• Чёрный ящик: Отсутствие интерпретируемости затрудняет доверие инженеров качества
• Требования к вычислительным ресурсам: Обучение и вывод требуют значительных вычислительных ресурсов
• Сложность интеграции: Недостаточная интеграция с существующими платформами разработки программного обеспечения

Основные вклады

1. Предложена модель ADE-QVAET: Впервые объединены адаптивная дифференциальная эволюция, квантовый вариационный автокодировщик и архитектура Transformer в единую структуру
2. Разработана структура предварительной обработки ANRA: Структура адаптивного снижения шума и расширения данных, улучшающая качество данных и баланс классов
3. Реализована динамическая оптимизация гиперпараметров: Алгоритм ADE динамически настраивает коэффициент масштабирования и коэффициент кроссовера на основе эволюционной производительности кандидатов
4. Достигнуто значительное повышение производительности: Точность повышена на 7,73%, полнота повышена на 18,63% по сравнению с традиционной моделью DE

Подробное описание методологии

Определение задачи

Входные данные: Набор данных для предсказания дефектов ПО, содержащий статические атрибуты кода, индекс поддерживаемости, циклическую сложность, количество строк кода, характеристики текучести кода и т.д. Выходные данные: Результат бинарной классификации (модуль с дефектом/модуль без дефекта) Цель: Максимизировать точность, полноту, чувствительность и F1-оценку предсказания дефектов

Архитектура модели

1. Предварительная обработка данных — структура ANRA

Входной набор данных: D = {x₁, x₂, ..., xₙ}
Предварительно обработанные данные: D' = ANRA(D)

Структура ANRA балансирует экземпляры с дефектами и без дефектов путём снижения шума, удаления избыточной информации и генерирования синтетических данных.

2. Квантовый вариационный автокодировщик (QVAE)

Извлечение скрытых признаков: Z = QVAE(D')

QVAE извлекает высокомерные скрытые признаки из входных данных, выявляя сложные многомерные образы.

3. Архитектура Transformer

Обработка последовательности: T = Transformer(Z)

Transformer обрабатывает скрытые признаки, выявляя последовательные зависимости и контекстные отношения между метриками программного обеспечения.

4. Слой предсказания

Финальное предсказание: P = PredictionLayer(T)

Технические инновации

1. Квантово-усиленное извлечение признаков

По сравнению с традиционным VAE, QVAE использует принципы квантовых вычислений для извлечения более богатых высокомерных скрытых признаков, способных захватывать сложные образы, которые трудно выявить классическими методами.

2. Оптимизация адаптивной дифференциальной эволюции

Операция мутации: v_{i,g+1} = x_{r1,g} + F × (x_{r2,g} - x_{r3,g})
Операция кроссовера: u_{j,i,g+1} = {v_{j,i,g+1} if rand(0,1) ≤ CR, x_{j,i,g} otherwise}
Операция отбора: x_{i,g+1} = u_{i,g+1} if f(u_{i,g+1}) ≤ f(x_{i,g})

ADE динамически настраивает F (коэффициент масштабирования) и CR (коэффициент кроссовера) на основе эволюции популяции, достигая баланса между исследованием и использованием.

3. Сквозная оптимизация

Целевая функция: θ* = argmin f(θ), где θ включает ключевые гиперпараметры, такие как скорость обучения, коэффициент регуляризации, количество слоёв и т.д.

Экспериментальная установка

Наборы данных

Источник данных: Набор данных Kaggle для предсказания дефектов программного обеспечения Признаки: Количество строк кода (LOC), циклическая сложность, глубина дерева наследования (DIT), связанность между объектами (CBO) и другие структурные элементы Метки: Бинарная классификация (дефект=1, без дефекта=0) Вызовы: Проблема дисбаланса классов, низкая частота появления модулей с дефектами

Метрики оценки

• Точность (Accuracy): Доля правильно предсказанных результатов
• Полнота (Precision): Доля действительных дефектов среди предсказанных дефектов
• Чувствительность (Recall): Доля правильно выявленных дефектов среди всех действительных дефектов
• F1-оценка: Гармоническое среднее полноты и чувствительности

Методы сравнения

• SVM (Support Vector Machine)
• DT (Decision Tree)
• RF (Random Forest)
• LR (Logistic Regression)
• QVA (Quantum Variational Autoencoder)
• DE (Differential Evolution)

Детали реализации

• Соотношение обучения: 90%
• Количество эпох тестирования: 100, 200, 300, 400, 500
• Цели оптимизации: Максимизация точности, полноты, чувствительности и F1-оценки

Результаты экспериментов

Основные результаты

Производительность при различном количестве эпох

При соотношении обучения 90% модель ADE-QVAET достигла оптимальной производительности при 500 эпохах:

• Точность: 98,67%
• Полнота: 98,67%
• Чувствительность: 93,34%
• F1-оценка: 98,56%

Сравнение с базовыми методами

Улучшения модели ADE-QVAET по сравнению с традиционной моделью DE при соотношении обучения 90%:

• Повышение точности: 7,73% (достигнуто 98,08%)
• Повышение полноты: 18,63% (достигнуто 92,45%)
• Повышение чувствительности: 4,34% (достигнуто 94,67%)
• Повышение F1-оценки: 15,63% (достигнуто 98,12%)

Абляционные исследования

Статья проверяет вклад каждого компонента путём сравнения моделей QVA и полной модели ADE-QVAET:

1. Компонент QVAE: Обеспечивает возможность извлечения высокомерных признаков
2. Компонент Transformer: Улучшает моделирование последовательных зависимостей
3. Оптимизация ADE: Значительно улучшает сходимость и производительность предсказания

Экспериментальные выводы

1. Улучшение сходимости: Стратегия динамической настройки ADE значительно ускоряет сходимость модели
2. Робастность к шуму: Предварительная обработка ANRA эффективно повышает робастность модели к зашумленным данным
3. Способность к обобщению: Модель демонстрирует хорошую способность к обобщению между различными программными проектами

Связанные работы

Основные направления исследований

1. Традиционные методы машинного обучения: Khalid и др. использовали кластеризацию K-means для улучшения предсказания дефектов, но с большими вычислительными затратами
2. Оптимизация эволюционными алгоритмами: Tang и др. предложили алгоритм AVSSA для работы с дисбалансированными данными, но с высокой сложностью интеграции
3. Методы глубокого обучения: Khleel и др. объединили CNN и GRU, требующие значительных вычислений и генерирования синтетических данных
4. Методы отбора признаков: Mehmood и др. разработали методы ML на основе отбора признаков, но с риском потери информации

Преимущества данной работы

По сравнению с существующими работами, ADE-QVAET решает следующие проблемы через единую структуру:

• Проблемы вычислительной сложности
• Обработка зашумленных и дисбалансированных данных
• Способность к обобщению для развивающихся программных проектов

Заключение и обсуждение

Основные выводы

1. Технологический прорыв: ADE-QVAET успешно интегрирует преимущества квантовых вычислений, глубокого обучения и эволюционных алгоритмов
2. Превосходная производительность: Значительно превосходит существующие методы по нескольким метрикам
3. Практическая ценность: Обеспечивает масштабируемое решение для инженерии качества, управляемой AI

Ограничения

1. Вычислительная сложность: Квантовый вариационный автокодировщик и архитектура Transformer по-прежнему требуют значительных вычислительных ресурсов
2. Зависимость от данных: Производительность модели в высокой степени зависит от высококачественной предварительной обработки данных
3. Интерпретируемость: Как модель глубокого обучения, сохраняет характеристики чёрного ящика
4. Проверка обобщения: Требуется проверка способности к обобщению на более широком спектре различных типов программных проектов

Направления будущих исследований

1. Интеграция обучения с подкреплением: Объединение глубокого обучения и обучения с подкреплением для профилактики программных проблем
2. Интеграция в реальном времени: Интеграция в реальном времени с системами контроля версий и конвейерами CI/CD
3. Улучшение интерпретируемости: Разработка более интерпретируемых инструментов тестирования, управляемых AI
4. Оптимизация для граничных вычислений: Сжатие моделей и оптимизация для сред с ограниченными ресурсами

Углубленная оценка

Преимущества

1. Высокая инновационность методологии: Впервые объединены квантовые вычисления, вариационный автокодировщик, Transformer и адаптивный эволюционный алгоритм
2. Полный экспериментальный дизайн: Комплексные сравнительные эксперименты с несколькими эпохами и базовыми методами
3. Значительное повышение производительности: Явное улучшение по всем ключевым метрикам
4. Практическая прикладная ценность: Исследование из промышленности (Apple) с потенциалом практического развёртывания

Недостатки

1. Недостаточный теоретический анализ: Отсутствует теоретическое объяснение эффектов квантового усиления
2. Единственный набор данных: Проверка только на одном наборе данных Kaggle, способность к обобщению требует проверки
3. Отсутствует анализ вычислительных затрат: Не предоставлено сравнение времени обучения и потребления вычислительных ресурсов
4. Проблемы воспроизводимости: Недостаточно подробное описание деталей реализации квантовой части

Влияние

1. Академический вклад: Предоставляет новые идеи для пересечения программной инженерии и AI
2. Промышленная ценность: Может быть непосредственно применена к управлению качеством программного обеспечения в корпорациях
3. Технологический прогресс: Способствует применению квантового машинного обучения в программной инженерии

Применимые сценарии

1. Разработка крупного корпоративного ПО: Подходит для управления качеством сложных корпоративных систем
2. Интеграция CI/CD: Может быть интегрирована в конвейеры непрерывной интеграции/непрерывного развёртывания
3. Мониторинг качества в реальном времени: Поддерживает предсказание дефектов в реальном времени в процессе разработки ПО
4. Управление многопроектной разработкой: Подходит для управления качеством нескольких параллельных программных проектов

Библиография

Статья ссылается на 21 соответствующий источник, включая:

• Методы машинного обучения для предсказания дефектов ПО
• Применение эволюционных алгоритмов в программной инженерии
• Технологии квантового машинного обучения
• Применение глубокого обучения в анализе кода

Общая оценка: Это статья с высокой технологической инновационностью, которая успешно интегрирует несколько передовых технологий для решения проблемы предсказания дефектов программного обеспечения. Хотя в теоретическом анализе и полноте проверки есть место для улучшения, её практическая ценность и повышение производительности весьма значительны, что имеет важное значение для продвижения применения AI в инженерии качества программного обеспечения.