Quantize-Sample-and-Verify: LLM Acceleration via Adaptive Edge-Cloud Speculative Decoding
Zhang, Cai, Yu et al.
In edge-cloud speculative decoding (SD), edge devices equipped with small language models (SLMs) generate draft tokens that are verified by large language models (LLMs) in the cloud. A key bottleneck in such systems is the limited communication bandwidth between edge and cloud, which necessitates quantization of the information transmitted about generated tokens. In this work, we introduce a novel quantize-sample (Q-S) strategy that provably preserves the output distribution of the cloud-based model, ensuring that the verified tokens match the distribution of those that would have been generated directly by the LLM. We develop a throughput model for edge-cloud SD that explicitly accounts for communication latency. Leveraging this model, we propose an adaptive mechanism that optimizes token throughput by dynamically adjusting the draft length and quantization precision in response to both semantic uncertainty and channel conditions. Simulations demonstrate that the proposed Q-S approach significantly improves decoding efficiency in realistic edge-cloud deployment scenarios.
academic
تحديد الكمية-العينة-والتحقق: تسريع نماذج اللغة الكبيرة عبر فك التشفير التخميني التكيفي للحافة-السحابة
في أنظمة فك التشفير التخميني للحافة-السحابة (SD)، تقوم أجهزة الحافة المزودة بنماذج لغة صغيرة (SLM) بإنشاء رموز مسودة، يتم التحقق منها لاحقاً بواسطة نموذج لغة كبير (LLM) في السحابة. يتمثل الاختناق الرئيسي في هذه الأنظمة في عرض النطاق الترددي المحدود بين الحافة والسحابة، مما يجعل تحديد كمية معلومات الرموز المرسلة ضرورياً. تقدم هذه الدراسة استراتيجية جديدة لتحديد الكمية-العينة (Q-S) تحافظ بشكل قابل للإثبات على توزيع مخرجات نموذج السحابة، مما يضمن أن الرموز المتحقق منها تطابق التوزيع الناتج مباشرة من LLM. نطور نموذج إنتاجية واضح لأنظمة الحافة-السحابة يأخذ في الاعتبار تأخير الاتصالات. بناءً على هذا النموذج، نقترح آلية تكيفية تحسّن إنتاجية الرموز من خلال تعديل ديناميكي لطول المسودة ودقة تحديد الكمية استجابة لعدم اليقين الدلالي وظروف القناة. تُظهر نتائج المحاكاة أن طريقة Q-S المقترحة تحسّن كفاءة فك التشفير بشكل كبير في سيناريوهات نشر الحافة-السحابة الواقعية.
تتمحور المشكلة الأساسية التي يعالجها هذا البحث حول قيود عرض النطاق الترددي للاتصالات في أنظمة فك التشفير التخميني للحافة-السحابة. في فك التشفير التخميني التقليدي، تحتاج أجهزة الحافة إلى نقل كمية كبيرة من معلومات التوزيع الاحتمالي إلى السحابة، مما يؤثر بشكل كبير على أداء النظام في البيئات ذات النطاق الترددي المحدود.
تُعرّف مهمة فك التشفير التخميني للحافة-السحابة على النحو التالي: بالنظر إلى بادئة الإدخال s¹، يحتاج النظام إلى إنشاء رموز مسودة من خلال SLM على الحافة، والتحقق من قبل LLM في السحابة، وأخيراً إنشاء سلسلة رموز بنفس توزيع استخدام LLM مباشرة.
الاقتراح 1: يضمن فك التشفير التخميني Q-S للحافة-السحابة أن احتمالية الرمز المُنشأ xᵗₗ وهي P(X = xᵗₗ) تساوي الاحتمالية المقابلة لـ LLM pᵗₗ,xᵗₗ.
تكمن أهمية هذه الخاصية في أن أخذ العينات والتحقق يستخدمان نفس التوزيع المحدد الكمية، بينما تستخدم طريقة S-Q توزيعات مختلفة مما يؤدي إلى انزياح التوزيع.
Chen, C., et al. "Accelerating large language model decoding with speculative sampling." arXiv:2302.01318, 2023.
Hao, Z., et al. "Hybrid SLM and LLM for edge-cloud collaborative inference." Proc. Worksh. Edge Mobil. Found. Models, 2024.
Leviathan, Y., et al. "Fast inference from transformers via speculative decoding." Proc. Int. Conf. Mach. Learn. (ICML), 2023.
Reznik, Y. A. "An algorithm for quantization of discrete probability distributions." Data Compress. Conf. (DCC), 2011.
التقييم الشامل: هذه ورقة عالية الجودة ذات مساهمات مهمة في مجال فك التشفير التخميني للحافة-السحابة. التحليل النظري صارم، والتحقق التجريبي شامل، وتحل مشاكل رئيسية في التطبيقات العملية. على الرغم من وجود بعض القيود، فإن ابتكاريتها وقيمتها العملية تجعلها عملاً مهماً في هذا المجال.