2025-11-25T03:10:17.326863

Quantize-Sample-and-Verify: LLM Acceleration via Adaptive Edge-Cloud Speculative Decoding

Zhang, Cai, Yu et al.
In edge-cloud speculative decoding (SD), edge devices equipped with small language models (SLMs) generate draft tokens that are verified by large language models (LLMs) in the cloud. A key bottleneck in such systems is the limited communication bandwidth between edge and cloud, which necessitates quantization of the information transmitted about generated tokens. In this work, we introduce a novel quantize-sample (Q-S) strategy that provably preserves the output distribution of the cloud-based model, ensuring that the verified tokens match the distribution of those that would have been generated directly by the LLM. We develop a throughput model for edge-cloud SD that explicitly accounts for communication latency. Leveraging this model, we propose an adaptive mechanism that optimizes token throughput by dynamically adjusting the draft length and quantization precision in response to both semantic uncertainty and channel conditions. Simulations demonstrate that the proposed Q-S approach significantly improves decoding efficiency in realistic edge-cloud deployment scenarios.
academic

Quantize-Sample-and-Verify: Ускорение LLM через адаптивное спекулятивное декодирование Edge-Cloud

Основная информация

  • ID статьи: 2507.00605
  • Название: Quantize-Sample-and-Verify: LLM Acceleration via Adaptive Edge-Cloud Speculative Decoding
  • Авторы: Guangyi Zhang, Yunlong Cai, Guanding Yu, Petar Popovski, Osvaldo Simeone
  • Классификация: eess.SP (электротехника и системные науки - обработка сигналов)
  • Дата публикации: 1 июля 2025 г. (препринт arXiv)
  • Ссылка на статью: https://arxiv.org/abs/2507.00605

Аннотация

В системах спекулятивного декодирования edge-cloud (SD) граничные устройства, оснащённые малыми языковыми моделями (SLM), генерируют черновые токены, которые затем проверяются большой языковой моделью (LLM) в облаке. Ключным узким местом таких систем является ограниченная полоса пропускания между граничным устройством и облаком, что делает необходимым квантование передаваемой информации о сгенерированных токенах. В данной работе предлагается новая стратегия квантования-выборки (Q-S), которая доказуемо сохраняет распределение выходных данных облачной модели, гарантируя, что проверенные токены соответствуют распределению, генерируемому непосредственно LLM. Мы разработали модель пропускной способности для edge-cloud SD, явно учитывающую задержки коммуникации. На основе этой модели предлагается адаптивный механизм, динамически регулирующий длину черновика и точность квантования в ответ на семантическую неопределённость и условия канала, оптимизируя пропускную способность токенов. Результаты моделирования показывают, что предложенный метод Q-S значительно повышает эффективность декодирования в реалистичных сценариях развёртывания edge-cloud.

Исследовательский контекст и мотивация

Определение проблемы

Основная проблема, которую решает данное исследование, — ограничения полосы пропускания коммуникации в системах спекулятивного декодирования edge-cloud. В традиционном спекулятивном декодировании граничное устройство должно передавать в облако большой объём информации о распределениях вероятностей, что серьёзно влияет на производительность системы в условиях ограниченной полосы пропускания.

Значимость

  1. Практическая ценность: Совместное вывод edge-cloud — важный тренд в развёртывании LLM, позволяющий сбалансировать вычислительные ресурсы и задержку отклика
  2. Технические вызовы: Существующие методы нарушают исходное распределение выходных данных LLM при квантовании распределений вероятностей, влияя на качество генерации
  3. Экономическая выгода: Сокращение избыточных вызовов API, повышение энергоэффективности и масштабируемости системы

Ограничения существующих методов

Существующие методы выборки-квантования (S-Q) имеют критические недостатки:

  • Стратегия выборки перед квантованием приводит к несоответствию между распределением выборки на граничном устройстве и распределением проверки в облаке
  • Нарушает основное свойство спекулятивного декодирования — сохранение распределения токенов LLM
  • Производительность значительно снижается при высоких температурах выборки

Исследовательская мотивация

Мотивация данной работы заключается в разработке схемы edge-cloud спекулятивного декодирования, которая одновременно снижает коммуникационные издержки и строго сохраняет согласованность распределения выходных данных LLM.

Основные вклады

  1. Предложена стратегия квантования-выборки (Q-S): Доказуемо сохраняет распределение выходных данных облачной LLM, гарантируя отсутствие потерь качества генерации
  2. Разработана модель пропускной способности с учётом задержек коммуникации: Явно моделирует влияние задержек восходящего и нисходящего каналов на производительность системы
  3. Разработан адаптивный механизм распределения ресурсов: На основе обучения с подкреплением динамически регулирует длину черновика и точность квантования
  4. Предоставлены теоретические гарантии: Proposition 1 доказывает эквивалентность распределений метода Q-S

Подробное описание метода

Определение задачи

Задача edge-cloud спекулятивного декодирования определяется следующим образом: при заданном входном префиксе s¹ система должна генерировать черновые токены через граничную SLM, проверять их облачной LLM и в итоге генерировать последовательность токенов с тем же распределением, что и при прямом использовании LLM.

Архитектура модели

Архитектура системы

Система включает четыре ключевых этапа:

  1. Генерация токенов: Граничная SLM авторегрессивно генерирует L^t черновых токенов
  2. Восходящая передача: Передача квантованных распределений вероятностей и токенов в облако
  3. Проверка токенов: Облачная LLM параллельно проверяет черновые токены
  4. Нисходящая передача: Возврат результатов проверки и вновь сгенерированных токенов

Основной механизм стратегии Q-S

Ключевое нововведение: Квантование распределения вероятностей перед выборкой из квантованного распределения

Математическое описание:

  • Квантованный вектор вероятностей: q̂ᵗₗ = Quantize(qᵗₗ)
  • Выборка из квантованного распределения: xᵗₗ ~ q̂ᵗₗ
  • Вероятность проверки: αᵗₗ = min(1, pᵗₗ,xᵗₗ/q̂ᵗₗ,xᵗₗ)

Алгоритм решётчатого квантования

Используется квантование вектора вероятностей на основе решётки:

  • Множество квантования: Qₗ = {q₁,q₂,...,qᵥ ∈ Q^V | qᵢ = oᵢ/ℓ, ∑ᵢoᵢ = ℓ}
  • Количество кодируемых битов: b = ⌈log₂((ℓ+V-1)/(V-1))⌉
  • Сложность: O(V log(V))

Технические инновации

1. Доказательство сохранения распределения

Proposition 1: Спекулятивное декодирование Q-S edge-cloud гарантирует, что вероятность сгенерированного токена xᵗₗ P(X = xᵗₗ) равна соответствующей вероятности LLM pᵗₗ,xᵗₗ.

Ключевым аспектом этого свойства является то, что выборка и проверка используют одно и то же квантованное распределение, тогда как метод S-Q использует разные распределения, что приводит к смещению распределения.

2. Адаптивный механизм оптимизации

Динамическая политика π на основе обучения с подкреплением, пространство состояний включает:

  • Семантическую информацию: вектор уверенности префикса fᵗ и среднюю уверенность f̄ᵗ
  • Информацию о соединении: текущую скорость восходящего канала Cᵗᵤ

Пространство действий: aᵗ = (Lᵗ, bᵗ), то есть длина черновика и количество битов квантования

3. Моделирование задержек

Модель общей задержки:

Tᵗ(Lᵗ, bᵗ; Cᵗᵤ, Cᵗd) = LᵗTSLM + Tᵗᵤ + TLLM + Tᵗd

Где:

  • Задержка восходящего канала: Tᵗᵤ = (Lᵗ⌈log₂(V)⌉ + bᵗ)/Cᵗᵤ
  • Задержка нисходящего канала: Tᵗd = (⌈log₂(Lᵗ)⌉ + ⌈log₂(V)⌉)/Cᵗd

Экспериментальная установка

Наборы данных

  • Набор данных: Набор данных CNN/DailyMail для аннотирования абстрактного текста
  • Задача: Генерация аннотаций абстрактного текста
  • Метрики оценки: Оценка ROUGE-2, пропускная способность токенов, энтропия Шеннона

Конфигурация модели

  • Облачная LLM: OPT-13B (13 миллиардов параметров)
  • Граничная SLM: OPT-125M (125 миллионов параметров)
  • Оборудование: NVIDIA A100 40GB GPU
  • Размер пакета: 1 (соответствует стандартам существующей литературы)

Модель канала

Используется двухсостояние марковская модель для моделирования изменяющегося во времени восходящего канала:

  • Состояние низкой скорости: средняя скорость 350 кбит/с (аналогично NB-IoT)
  • Состояние высокой скорости: средняя скорость 4 Мбит/с
  • Вероятности переходов: p_low→high и p_high→low

Методы сравнения

  1. LLM: Прямое использование облачной LLM
  2. SLM: Использование только граничной SLM
  3. S-Q: Спекулятивное декодирование выборка-квантование
  4. Q-S (Static): Статический метод квантование-выборка
  5. Q-S (Heuristic): Эвристический адаптивный Q-S
  6. Q-S (Dynamic): Динамический Q-S на основе обучения с подкреплением

Результаты экспериментов

Основные результаты

1. Сохранение качества генерации

Сравнение оценок ROUGE-2:

  • Методы Q-S (статический и динамический) сохраняют одинаковые оценки ROUGE-2 с LLM при всех температурах выборки
  • Метод S-Q значительно отклоняется от производительности LLM при высоких температурах
  • Подтверждает теоретические гарантии Proposition 1

2. Увеличение пропускной способности

Среда сети низкой скорости (350 кбит/с):

  • Q-S (Dynamic) обеспечивает примерно 40-50% увеличение пропускной способности токенов по сравнению с LLM
  • Примерно 15-20% увеличение по сравнению со статическим методом Q-S
  • Примерно 8-12% увеличение по сравнению с эвристическим методом

Среда сети высокой скорости (4 Мбит/с):

  • Коммуникация больше не является основным узким местом, но динамический метод всё ещё обеспечивает 5-10% увеличение
  • Подтверждает надёжность адаптивной стратегии

3. Анализ энтропии

Энтропия Шеннона токенов всех методов увеличивается с ростом температуры выборки, подтверждая правильное влияние параметра температуры на разнообразие выходных данных.

Абляционные исследования

Путём сравнения трёх вариантов Q-S (статический, эвристический и динамический) подтверждается:

  1. Эффективность стратегии квантования: Преимущество Q-S над S-Q
  2. Ценность адаптивного механизма: Улучшение динамической регулировки по сравнению с фиксированными параметрами
  3. Необходимость обучения с подкреплением: Улучшение по сравнению с простыми эвристическими правилами

Ключевые выводы

  1. Согласованность распределения критична: Сохранение согласованности распределений выборки и проверки является ключом к сохранению качества генерации
  2. Задержка коммуникации значительно влияет на производительность: В среде низкой полосы пропускания коммуникационные издержки становятся основным узким местом
  3. Адаптивная стратегия показывает значительный эффект: Динамическая регулировка параметров эффективно адаптируется к различным семантическим и сетевым условиям

Связанные работы

Исследования спекулятивного декодирования

  • Базовое спекулятивное декодирование: Исходный метод спекулятивной выборки, предложенный Chen и др.1
  • Совместный вывод edge-cloud: Первое исследование совместного SD edge-cloud, проведённое Hao и др.4
  • Пропуск токенов на основе неопределённости: Стратегия пропуска токенов на основе неопределённости, предложенная Oh и др.5

Методы квантования

  • Квантование вектора вероятностей: Алгоритм решётчатого квантования Reznik10
  • Квантование подсказок: Квантование на уровне подсказок, предложенное Jiao и др.11 и Hao и др.12
  • Квантование KV-кэша: Метод квантования кэша ключ-значение, предложенный He и др.13

Относительные преимущества данной работы

  1. Теоретические гарантии: Первое строгое доказательство сохранения распределения
  2. Системное моделирование: Полная модель системы, явно учитывающая задержки коммуникации
  3. Адаптивная оптимизация: Динамическая регулировка параметров на основе обучения с подкреплением

Выводы и обсуждение

Основные выводы

  1. Стратегия Q-S превосходит S-Q: Достигает значительного увеличения пропускной способности при сохранении качества генерации
  2. Адаптивный механизм эффективен: Динамическая регулировка длины черновика и точности квантования адаптируется к различным условиям
  3. Теория и практика согласуются: Теоретический анализ и результаты экспериментов взаимно подтверждают друг друга

Ограничения

  1. Предположения модели: Предполагается отсутствие задержки при нисходящей передаче, реальные сценарии могут быть более сложными
  2. Метод квантования: Рассматривается только решётчатое квантование, эффективность других методов квантования неизвестна
  3. Ограничения задачи: Проверка только на задаче аннотирования текста, универсальность требует дальнейшей проверки
  4. Зависимость от оборудования: Эксперименты основаны на высокопроизводительных GPU, производительность на реальных граничных устройствах может отличаться

Направления будущих исследований

  1. Расширение на другие задачи: Сценарии применения для диалоговой генерации, генерации кода и т.д.
  2. Более сложные модели сети: Учёт потерь пакетов, дрожания и других реальных проблем сети
  3. Расширение на мультимодальность: Сценарии изображение-текст, речь-текст и другие мультимодальные случаи
  4. Оптимизация оборудования: Стратегии оптимизации для конкретного граничного оборудования

Глубокая оценка

Преимущества

  1. Прочный теоретический вклад: Proposition 1 предоставляет строгие математические гарантии, заполняя теоретический пробел существующих методов
  2. Чёткое определение проблемы: Точно определяет фундаментальный недостаток метода S-Q и предлагает целевое решение
  3. Системное моделирование: Всесторонне учитывает вычислительные и коммуникационные задержки, устанавливая полную модель производительности
  4. Разумный дизайн экспериментов: Многоаспектная проверка эффективности метода, включая качество, пропускную способность и надёжность
  5. Высокая практическая ценность: Решает реальные проблемы развёртывания edge-cloud с важными перспективами применения

Недостатки

  1. Ограниченный диапазон экспериментов: Проверка только на одной задаче и наборе данных, недостаточно доказательств универсальности
  2. Простые методы сравнения: Методы сравнения относительно просты, отсутствуют более сильные базовые линии
  3. Моделирование оборудования: Использование масштабирующих коэффициентов для моделирования производительности граничных устройств может отличаться от реальности
  4. Упрощённая модель сети: Двухсостояние марковская модель чрезмерно упрощена, реальная сеть более сложна
  5. Недостаточный анализ вычислительных издержек: Анализ вычислительных издержек квантования и обучения с подкреплением недостаточен

Влияние

  1. Академическая ценность: Предоставляет теоретическую основу и практические методы для спекулятивного декодирования edge-cloud
  2. Промышленное применение: Имеет прямое руководящее значение для развёртывания граничного AI
  3. Исследовательское вдохновение: Предоставляет новые идеи для связанных областей (федеративное обучение, распределённый вывод и т.д.)
  4. Потенциал стандартизации: Может повлиять на разработку стандартов совместного вывода edge-cloud

Применимые сценарии

  1. Среды с ограниченной полосой пропускания: Спутниковая коммуникация, сети в отдалённых районах и т.д.
  2. Приложения, чувствительные к задержкам: Системы диалога в реальном времени, сервисы граничного AI
  3. Устройства с ограниченными ресурсами: Мобильные устройства, устройства IoT и т.д.
  4. Гибридная облачная архитектура: Корпоративные приложения, требующие совместного вывода edge-cloud

Воспроизводимость

Статья предоставляет подробные экспериментальные установки и ссылки на открытый исходный код, обладая хорошей воспроизводимостью. Однако проверка развёртывания на реальных граничных устройствах требует дальнейшей работы.

Библиография

  1. Chen, C., et al. "Accelerating large language model decoding with speculative sampling." arXiv:2302.01318, 2023.
  2. Hao, Z., et al. "Hybrid SLM and LLM for edge-cloud collaborative inference." Proc. Worksh. Edge Mobil. Found. Models, 2024.
  3. Leviathan, Y., et al. "Fast inference from transformers via speculative decoding." Proc. Int. Conf. Mach. Learn. (ICML), 2023.
  4. Reznik, Y. A. "An algorithm for quantization of discrete probability distributions." Data Compress. Conf. (DCC), 2011.

Общая оценка: Это высококачественная статья с важными вкладами в область спекулятивного декодирования edge-cloud. Теоретический анализ строг, экспериментальная проверка полна, решаются ключевые проблемы практического применения. Несмотря на некоторые ограничения, её инновационность и практическая ценность делают её важной работой в данной области.