Вероятностное прогнозирование метрик QoS в сетях с отложенной доставкой с использованием условных диффузионных моделей на скрытой динамике

Основная информация

• ID статьи: 2504.08821
• Название: Probabilistic QoS Metric Forecasting in Delay-Tolerant Networks Using Conditional Diffusion Models on Latent Dynamics
• Авторы: Enming Zhang, Zheng Liu, Yu Xiang, Yanwen Qu
• Классификация: cs.LG (Машинное обучение), stat.ML (Статистика - Машинное обучение)
• Дата публикации: 15 октября 2025 г. (arXiv v3)
• Ссылка на статью: https://arxiv.org/abs/2504.08821v3

Аннотация

В данной работе предлагается вероятностный метод прогнозирования метрик QoS в сетях с отложенной доставкой (DTN) на основе условных диффузионных моделей. Традиционные методы регрессии среднего значения не способны полностью захватить сложность данных, что приводит к снижению производительности при выполнении операционных задач, таких как маршрутизация в DTN. В работе задача прогнозирования метрик QoS в DTN формализуется как задача вероятностного прогнозирования многомерных временных рядов, при этом неопределённость прогнозов количественно оценивается с помощью диффузионных моделей в сочетании со скрытой динамикой временных рядов. Экспериментальные результаты демонстрируют, что предложенный метод показывает лучшую производительность среди популярных методов вероятностного прогнозирования временных рядов.

Исследовательский контекст и мотивация

Определение проблемы

Сети с отложенной доставкой (DTN) играют важную роль в коммуникации на экстремально больших расстояниях или в суровых условиях окружающей среды и широко применяются в автомобильной коммуникации, сетях мониторинга дикой природы и коммуникации в сельских районах. DTN часто сталкиваются с проблемами частых разрывов соединения, высокого уровня ошибок и задержек, которые могут продолжаться часами или даже днями.

Значимость проблемы

1. Оптимизация производительности сети: Прогнозирование метрик QoS может улучшить производительность сети в отношении задержки, пропускной способности, энергопотребления и надёжности
2. Планирование ресурсов: Протоколы маршрутизации могут более эффективно распределять информацию на основе состояния сети, снижая энергопотребление
3. Управление приоритетами трафика: Различные типы сетевого трафика имеют различные требования QoS, прогнозирование помогает в распределении приоритетов

Ограничения существующих методов

1. Традиционные методы регрессии среднего значения: Основаны на авторегрессионных моделях, сосредоточены на обеспечении точных точечных прогнозов путём минимизации показателей, таких как MSE
2. Недостаточная обработка мультимодальных данных: Когда данные содержат несколько модальностей, регрессия среднего значения не может захватить полную сложность данных
3. Отсутствие количественной оценки неопределённости: Детерминированные методы регрессии не могут количественно оценить неопределённость прогнозов, что необходимо для операционных задач, таких как маршрутизация в DTN

Исследовательская мотивация

Временные ряды QoS в DTN обладают нестационарными и мультимодальными характеристиками, требуя метода, который может:

• Захватить сложную динамику временных рядов
• Предоставить вероятностную прогнозную базу для количественной оценки неопределённости
• Обрабатывать нестационарные и мультимодальные данные надёжным образом

Основные вклады

1. Переопределение проблемы: Переформулировка задачи прогнозирования метрик QoS в DTN как задачи вероятностного прогнозирования временных рядов, позволяющей количественно оценить неопределённость прогнозов
2. Расширение диффузионных моделей: Расширение популярных диффузионных моделей для вывода выборок из прогнозного распределения, объединение со скрытой контекстной динамикой для повышения адаптивности модели к нестационарным и мультимодальным временным рядам
3. Фреймворк DiffTCN: Предложение фреймворка условной диффузионной модели, объединяющего временные свёрточные сети (TCN) и Transformer для эффективного захвата долгосрочных зависимостей
4. Экспериментальная верификация: Демонстрация преимуществ предложенного метода по сравнению с существующими методами посредством обширных экспериментов, достижение лучшей производительности по нескольким метрикам оценки

Подробное описание метода

Определение задачи

Дан многомерный временной ряд $X = (x_1, x_2, ..., x_t) \in \mathbb{R}^{m \times t}$, где $m$ — количество переменных, $t$ — длина временного ряда. Цель состоит в прогнозировании распределения следующих $p$ временных шагов $Y = (y_{t+1}, y_{t+2}, ..., y_{t+p}) \in \mathbb{R}^{n \times p}$, где $n \leq m$.

Архитектура модели

1. Основы диффузионной модели

Диффузионная модель включает два процесса:

• Процесс прямой диффузии: Постепенное добавление гауссовского шума к данным $q(x^s|x^{s-1}) = \mathcal{N}(x^s; \sqrt{1-\beta_s}x^{s-1}, \beta_s I)$
• Процесс обратного удаления шума: Восстановление данных из шума $p_\theta(x^{s-1}|x^s) = \mathcal{N}(x^{s-1}; \mu_\theta(x^s, s), \sigma_\theta(x^s, s)I)$

Функция потерь упрощается до: $L_{simple} = \mathbb{E}_{s \sim [1,S], x^0, \varepsilon_s}[\|\varepsilon_s - \varepsilon_\theta(\sqrt{\bar{\alpha}_s}x^0 + \sqrt{1-\bar{\alpha}_s}\varepsilon_s, s)\|^2]$

2. Условная диффузионная модель

Для повышения точности и надёжности прогнозирования вводится условная информация: $p_\theta(x^{s-1}|x^s, e^j) = \mathcal{N}(x^{s-1}; \mu_\theta(x^s, s, e^j), \sigma_\theta(x^s, s, e^j)I)$

где $e^j$ обозначает динамику временного ряда в момент времени $j$. Условная функция потерь имеет вид: $L_{simple}^s = \mathbb{E}_{s \sim [1,S], x^0, \varepsilon_s}[\|\varepsilon_s - \varepsilon_\theta(\sqrt{\bar{\alpha}_s}x^0 + \sqrt{1-\bar{\alpha}_s}\varepsilon_s, s), e^j\|^2]$

3. Захват скрытой динамики временных рядов

Для захвата контекстной динамики используется временная свёрточная сеть (TCN), основные компоненты которой включают:

• Причинная свёртка: Предотвращение утечки информации
• 1D полносвёрточная сеть: Отображение входа на выход
• Расширенная свёртка: Расширение поля восприятия
• Остаточные временные блоки: Углубление сети

4. Интеграция Transformer

Использование Transformer вместо расширенных слоёв свёртки в качестве основного вычислительного модуля:

• Захват долгосрочных зависимостей в временных рядах
• Динамическое взвешивание значений признаков различных временных шагов
• Захват взаимозависимостей между различными переменными посредством механизма внимания

Технические инновации

1. Парадигма вероятностного прогнозирования: Переход от детерминированного прогнозирования к вероятностному прогнозированию, позволяющему количественно оценить неопределённость
2. Проектирование условной диффузии: Интеграция контекстной динамики временных рядов в качестве условной информации в процесс диффузии
3. Синтез TCN и Transformer: Объединение параллелизма TCN и способности Transformer захватывать долгосрочные зависимости
4. Стратегия итеративного прогнозирования: Использование пошагового метода прогнозирования, применимого к произвольным временным горизонтам

Экспериментальная установка

Наборы данных

Использование открытых наборов данных датчиков, содержащих метрики QoS, такие как интернет-задержка:

• Масштаб данных: Более 100 дней данных с частотой дискретизации один раз в минуту
• Разделение данных:
  • D1: примерно 80 000 временных меток
  • D2: примерно 40 000 временных меток с различными диапазонами значений и распределениями
• Параметры прогнозирования: Использование последних 120 временных меток для прогнозирования значений задержки на следующие 10 временных шагов

Метрики оценки

1. MAE (Mean Absolute Error): Средняя абсолютная ошибка
2. MSE (Mean Squared Error): Среднеквадратичная ошибка
3. CRPS (Continuous Ranked Probability Score): Непрерывная оценка вероятности ранжирования $CRPS(F,x) = \int_{-\infty}^{\infty} (F(y) - \mathbf{1}(x \leq y))^2 dy$

Методы сравнения

• DeepAR: Метод глубокой авторегрессии на основе рекуррентных сетей
• DeepFactor: Гибридная модель, объединяющая классические модели временных рядов и глубокие нейронные сети
• TimeGrad: Метод авторегрессивного удаления шума на основе диффузионных моделей
• Diffusion: Оригинальная ванильная диффузионная модель

Детали реализации

• Оптимизатор: Adam с коэффициентом обучения 0,001
• Количество шагов диффузии: 50
• Уровни шума: β₁ = 0,0001, βₜ = 0,5
• Размер пакета: 64
• Количество выборок при выводе: 100 выборок для аппроксимации распределения
• Оборудование: Одиночный графический процессор Nvidia 3090 (24 ГБ)

Результаты экспериментов

Основные результаты

Результаты MAE и MSE

Результаты CRPS

Экспериментальные выводы

1. Последовательное преимущество: DiffTCN достигает лучшей производительности на всех временных горизонтах прогнозирования и наборах данных
2. Количественная оценка неопределённости: Результаты CRPS демонстрируют значительное превосходство DiffTCN в качестве вероятностного прогнозирования по сравнению с базовыми методами
3. Стабильность: DiffTCN демонстрирует минимальную вариативность производительности, указывая на надёжность метода
4. Преимущества TCN: По сравнению с использованием кодировщика RNN в TimeGrad, параллелизм TCN обеспечивает значительное повышение точности

Связанные работы

Прогнозирование QoS в DTN

• Методы нейронных сетей: Abdellah и др. использовали NARX-RNN для прогнозирования сетевой задержки
• Применение LSTM: Nagai и др. построили тестовую платформу беспроводной сенсорной сети, используя LSTM для прогнозирования задержки
• Матричная факторизация: Ghandi и др. формализовали задачу прогнозирования сетевой задержки как задачу неотрицательной матричной факторизации

Прогнозирование временных рядов

• Традиционные методы: Методы прогнозирования на основе статистических моделей, таких как ARMA
• Глубокое обучение: Методы рекуррентных нейронных сетей, включая RNN, LSTM, GRU
• Вероятностное прогнозирование: Фреймворки вероятностного прогнозирования, такие как DeepAR и DeepFactor

Применение диффузионных моделей

• Генерация изображений: Успешное применение диффузионных моделей в задачах генерации изображений
• Временные ряды: Применение диффузионных моделей к прогнозированию временных рядов, таких как TimeGrad

Выводы и обсуждение

Основные выводы

1. Преимущества вероятностного прогнозирования: Переформулировка задачи прогнозирования QoS как задачи вероятностного прогнозирования эффективно позволяет количественно оценить неопределённость
2. Эффективность условных диффузионных моделей: Условные диффузионные модели эффективно обрабатывают нестационарные и мультимодальные данные временных рядов
3. Обоснованность проектирования архитектуры: Объединение TCN и Transformer полностью использует преимущества обоих подходов

Ограничения

1. Вычислительная сложность: Диффузионные модели требуют многошагового отбора, что приводит к значительным вычислительным затратам
2. Масштаб набора данных: Эксперименты проверены только на одном типе данных сетевой задержки
3. Практическое развёртывание: Отсутствует развёртывание и верификация в реальной среде DTN

Направления будущих исследований

Основное направление будущих исследований, предложенное в работе, — расширение фреймворка для обработки сценариев распределения вне выборки (out-of-distribution), то есть вывод на данных с распределением, отличным от обучающих данных.

Глубокая оценка

Преимущества

1. Ясное определение проблемы: Точное выявление ограничений существующих методов, обоснованная переформулировка проблемы как вероятностного прогнозирования
2. Инновационность метода: Искусное объединение диффузионных моделей с моделированием динамики временных рядов, новаторский технический подход
3. Достаточность экспериментов: Сравнение с несколькими сильными базовыми методами, использование нескольких метрик оценки, убедительные результаты
4. Инженерная реализация: Предоставление подробных деталей реализации, способствующих воспроизведению

Недостатки

1. Отсутствие теоретического анализа: Недостаток теоретического анализа причин эффективности метода и доказательств сходимости
2. Единственность набора данных: Верификация только на данных сетевой задержки, отсутствие верификации на других типах метрик QoS
3. Вычислительная эффективность: Недостаточное обсуждение вычислительных затрат диффузионных моделей и проблем реального времени
4. Недостаточность абляционных исследований: Отсутствие подробного анализа вклада каждого компонента

Влияние

1. Академический вклад: Предоставление нового технического пути для прогнозирования QoS в области DTN
2. Практическая ценность: Способность вероятностного прогнозирования имеет важное значение для практического сетевого управления
3. Универсальность метода: Предложенный фреймворк может быть обобщён на другие задачи прогнозирования временных рядов

Применимые сценарии

1. Оптимизация сетей DTN: Принятие решений по маршрутизации, распределение ресурсов, балансировка нагрузки
2. Сетевое управление: Прогнозирование сбоев, мониторинг производительности, планирование ёмкости
3. Другие прогнозы временных рядов: Задачи прогнозирования временных рядов, требующие количественной оценки неопределённости

Библиография

Статья цитирует 51 соответствующую работу, охватывающую несколько областей, включая DTN, прогнозирование временных рядов и диффузионные модели, обеспечивая прочную теоретическую основу для исследования.

Общая оценка: Данная работа предлагает технически инновационное и экспериментально обоснованное решение для практических потребностей прогнозирования QoS в DTN. Несмотря на определённые недостатки в теоретическом анализе и широте экспериментов, в целом это высококачественная исследовательская работа, имеющая важное справочное значение для смежных областей.