2025-11-12T00:34:29.273016

Shifting AI Efficiency From Model-Centric to Data-Centric Compression

Liu, Wen, Wang et al.
The advancement of large language models (LLMs) and multi-modal LLMs (MLLMs) has historically relied on scaling model parameters. However, as hardware limits constrain further model growth, the primary computational bottleneck has shifted to the quadratic cost of self-attention over increasingly long sequences by ultra-long text contexts, high-resolution images, and extended videos. In this position paper, \textbf{we argue that the focus of research for efficient artificial intelligence (AI) is shifting from model-centric compression to data-centric compression}. We position data-centric compression as the emerging paradigm, which improves AI efficiency by directly compressing the volume of data processed during model training or inference. To formalize this shift, we establish a unified framework for existing efficiency strategies and demonstrate why it constitutes a crucial paradigm change for long-context AI. We then systematically review the landscape of data-centric compression methods, analyzing their benefits across diverse scenarios. Finally, we outline key challenges and promising future research directions. Our work aims to provide a novel perspective on AI efficiency, synthesize existing efforts, and catalyze innovation to address the challenges posed by ever-increasing context lengths.
academic

AI दक्षता को मॉडल-केंद्रित से डेटा-केंद्रित संपीड़न की ओर स्थानांतरित करना

मूल जानकारी

  • पेपर ID: 2505.19147
  • शीर्षक: Shifting AI Efficiency From Model-Centric to Data-Centric Compression
  • लेखक: Xuyang Liu, Zichen Wen, Shaobo Wang, Junjie Chen, Zhishan Tao, Yubo Wang, Tailai Chen, Xiangqi Jin, Chang Zou, Yiyu Wang, Chenfei Liao, Xu Zheng, Honggang Chen, Weijia Li, Xuming Hu, Conghui He, Linfeng Zhang
  • वर्गीकरण: cs.CL, cs.AI, cs.CV
  • प्रकाशन समय/सम्मेलन: arXiv प्रीप्रिंट (जनवरी 2025)
  • पेपर लिंक: https://arxiv.org/abs/2505.19147

सारांश

बड़े भाषा मॉडल (LLMs) और बहु-मोडल बड़े भाषा मॉडल (MLLMs) के विकास के साथ, परंपरागत रूप से मॉडल पैरामीटर को बढ़ाकर प्रदर्शन में सुधार करने की विधि हार्डवेयर सीमाओं का सामना कर रही है। वर्तमान में मुख्य कम्प्यूटेशनल बाधा मॉडल आकार से स्थानांतरित होकर अति-लंबे पाठ संदर्भ, उच्च-रिज़ॉल्यूशन छवियों और लंबे वीडियो को संसाधित करते समय स्व-ध्यान तंत्र की द्विघात जटिलता लागत की ओर बढ़ गई है। यह पेपर प्रस्तावित करता है कि AI दक्षता अनुसंधान का ध्यान मॉडल-केंद्रित संपीड़न से डेटा-केंद्रित संपीड़न की ओर स्थानांतरित होना चाहिए। डेटा-केंद्रित संपीड़न प्रशिक्षण या अनुमान के दौरान संसाधित डेटा की मात्रा को सीधे संपीड़ित करके AI दक्षता में सुधार करता है। पेपर एक एकीकृत दक्षता रणनीति ढांचा स्थापित करता है, डेटा-केंद्रित संपीड़न विधियों के परिदृश्य की व्यवस्थित समीक्षा करता है, विभिन्न परिस्थितियों में इसके लाभों का विश्लेषण करता है, और मुख्य चुनौतियों और भविष्य की अनुसंधान दिशाओं की रूपरेखा प्रदान करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

इस पेपर द्वारा समाधान की जाने वाली मूल समस्या है: जैसे-जैसे AI मॉडल द्वारा संसाधित संदर्भ की लंबाई तेजी से बढ़ रही है, इससे उत्पन्न कम्प्यूटेशनल दक्षता चुनौतियों का प्रभावी ढंग से सामना कैसे किया जाए।

महत्व विश्लेषण

  1. तकनीकी प्रवृत्ति परिवर्तन: 2022-2024 से, AI प्रदर्शन में सुधार मुख्य रूप से मॉडल आकार विस्तार पर निर्भर था, लेकिन 2024 तक मॉडल आकार वृद्धि स्थिर हो गई (लगभग 1T पैरामीटर), जबकि संदर्भ की लंबाई निरंतर घातीय रूप से बढ़ रही है
  2. कम्प्यूटेशनल बाधा स्थानांतरण: मुख्य कम्प्यूटेशनल ओवरहेड रैखिक पैरामीटर वृद्धि से स्व-ध्यान तंत्र की द्विघात जटिलता O(n²) की ओर स्थानांतरित हुआ है
  3. क्रॉस-डोमेन आवश्यकताएं: भाषा मॉडल को लंबी तर्क श्रृंखलाएं संसाधित करनी होती हैं, दृश्य मॉडल को उच्च-रिज़ॉल्यूशन छवियां और लंबे वीडियो संसाधित करने होते हैं, जनरेटिव मॉडल को उच्च-गुणवत्ता वाली सामग्री बनानी होती है

मौजूदा विधियों की सीमाएं

परंपरागत मॉडल-केंद्रित संपीड़न विधियां (परिमाणीकरण, प्रूनिंग, आसवन, निम्न-रैंक अपघटन) मुख्य रूप से मॉडल पैरामीटर W को अनुकूलित करने पर केंद्रित हैं, लेकिन संदर्भ की लंबाई में वृद्धि से उत्पन्न चुनौतियों का प्रभावी ढंग से सामना नहीं कर सकते। ये विधियां लंबे अनुक्रमों का सामना करते समय भी पूर्ण इनपुट डेटा X को संसाधित करने की आवश्यकता होती है, द्विघात जटिलता समस्या को मूल रूप से हल नहीं कर सकते।

अनुसंधान प्रेरणा

AI विकास प्रवृत्तियों के गहन विश्लेषण के आधार पर, लेखक डेटा-केंद्रित संपीड़न को एक नए प्रतिमान के रूप में प्रस्तावित करते हैं, जो संसाधित डेटा की मात्रा को सीधे कम करके लंबे संदर्भ चुनौतियों का सामना करता है, बेहतर सामान्यता, दक्षता और संगतता के साथ।

मुख्य योगदान

  1. प्रतिमान रूपांतरण विश्लेषण: AI दक्षता अनुसंधान में पैरामीटर-केंद्रित से संदर्भ-केंद्रित कम्प्यूटेशनल बाधा की मुख्य बदलाव का विश्लेषण करता है, दक्षता अनुकूलन प्रतिमान रूपांतरण की आवश्यकता को प्रमाणित करता है
  2. एकीकृत सैद्धांतिक ढांचा: आर्किटेक्चर डिजाइन, मॉडल-केंद्रित संपीड़न और डेटा-केंद्रित संपीड़न को शामिल करने वाला एक एकीकृत गणितीय अभिव्यक्ति ढांचा स्थापित करता है
  3. व्यवस्थित समीक्षा: डेटा-केंद्रित संपीड़न विधियों की व्यापक जांच करता है, एक एकीकृत वर्गीकरण ढांचा बनाता है, विभिन्न परिस्थितियों में लाभों का विश्लेषण करता है
  4. चुनौतियां और दिशाएं: वर्तमान चुनौतियों का गहन विश्लेषण करता है और आशाजनक भविष्य की अनुसंधान दिशाएं प्रस्तावित करता है, जिसका उद्देश्य इस क्षेत्र में नवाचार को प्रेरित करना है

विधि विवरण

कार्य परिभाषा

डेटा-केंद्रित संपीड़न का उद्देश्य संपीड़न ऑपरेशन Φ के माध्यम से मूल इनपुट अनुक्रम X को संपीड़ित प्रतिनिधित्व X' में परिवर्तित करना है, जो |X'| < |X| को संतुष्ट करता है, साथ ही मॉडल प्रदर्शन को यथासंभव बनाए रखता है।

एकीकृत ढांचा

इनपुट डेटा X और नेटवर्क पैरामीटर W दिए गए, तंत्रिका नेटवर्क F का आउटपुट है:

Y = F(W, X)

दक्षता अनुकूलन तीन दृष्टिकोणों से किया जा सकता है:

  1. कुशल कम्प्यूटेशन आर्किटेक्चर (F): रैखिक या उप-द्विघात जटिलता के आर्किटेक्चर डिजाइन करना
  2. मॉडल-केंद्रित संपीड़न (W): W' = Γ(W), |W'| < |W|
  3. डेटा-केंद्रित संपीड़न (X): X' = Φ(X), |X'| < |X|

डेटा-केंद्रित संपीड़न आर्किटेक्चर

संपीड़न मानदंड (E)

पैरामीटरीकृत विधि:

  • प्रशिक्षण-जागरूक विधि: अतिरिक्त पैरामीटर Δθ को अनुकूलित करके स्कोरिंग फ़ंक्शन सीखना
  • प्रशिक्षण-अज्ञेय विधि: पूर्व-प्रशिक्षित नेटवर्क को सीधे स्कोरिंग फ़ंक्शन के रूप में उपयोग करना

गैर-पैरामीटरीकृत विधि:

  • आंतरिक कम्प्यूटेशन विधि: टोकन स्कोरिंग के लिए मॉडल के आंतरिक कम्प्यूटेशन (जैसे ध्यान भार) का उपयोग करना
  • बाहरी कम्प्यूटेशन विधि: टोकन संबंध का मूल्यांकन करने के लिए अतिरिक्त मेट्रिक्स डिजाइन करना

संपीड़न रणनीति (P)

टोकन प्रूनिंग: कम महत्व वाले टोकन को सीधे हटाना

X' = X \ {xt | st < τ}

टोकन विलय: शब्दार्थ समानता के माध्यम से टोकन को विलय करना

x'_m = Σ(t:π(t)=m) wt * xt, wt = st / Σ(t':π(t')=m) st'

तकनीकी नवाचार बिंदु

  1. द्वि-चरणीय दक्षता: प्रशिक्षण और अनुमान दोनों चरणों को एक साथ तेज करना
  2. आर्किटेक्चर संगतता: मौजूदा संपीड़न विधियों के साथ ऑर्थोगोनल, निर्बाध एकीकरण संभव
  3. द्विघात लाभ: स्व-ध्यान की O(n²) जटिलता से महत्वपूर्ण कम्प्यूटेशनल बचत प्राप्त करना
  4. सार्वभौमिक प्रयोज्यता: बहु-मोडल और कार्यों में टोकन अनावश्यकता की सामंजस्यता
  5. कम कार्यान्वयन लागत: आधुनिक आर्किटेक्चर परिवर्तनशील-लंबाई इनपुट का समर्थन करते हैं, पुनः प्रशिक्षण की आवश्यकता नहीं

प्रायोगिक सेटअप

डेटासेट और मूल्यांकन

पेपर विभिन्न डोमेन में प्रयोगों के माध्यम से डेटा-केंद्रित संपीड़न विधियों की प्रभावशीलता को सत्यापित करता है:

जटिल तर्क कार्य:

  • MATH-500, AIME24, GSM8K
  • मॉडल: DeepSeek-R1-Distill-Llama-8B
  • KV कैश बजट: 1024 टोकन

छवि समझ कार्य:

  • GQA, MMB, MMB-CN
  • मॉडल: LLaVA-1.5-7B
  • 25% दृश्य टोकन बनाए रखना

वीडियो समझ कार्य:

  • MVBench, MLVU, VideoMME
  • मॉडल: LLaVA-OneVision-7B
  • 15% दृश्य टोकन बनाए रखना

छवि जनरेशन कार्य:

  • मॉडल: FLUX.1-dev (DiT-आधारित)
  • कैश चक्र N=4, अनुपात R=90%

तुलना विधियां

  • KV कैश विधियां: H2O, SnapKV, KNorm
  • दृश्य संपीड़न विधियां: FastV, SparseVLM, PDrop
  • आधारभूत विधियां: Random dropping, Pooling

प्रायोगिक परिणाम

मुख्य निष्कर्ष

प्रयोग एक प्रति-सहज घटना को प्रकट करते हैं: सावधानीपूर्वक डिजाइन की गई संपीड़न विधियां कई परिस्थितियों में यादृच्छिक हटाने से बेहतर प्रदर्शन नहीं करती हैं।

जटिल तर्क कार्य

  • AIME24 पर, यादृच्छिक हटाना SnapKV से 10% सटीकता अधिक है
  • H2O, SnapKV, KNorm सभी लगातार यादृच्छिक हटाने से कम हैं

छवि समझ कार्य

  • यादृच्छिक हटाना और पूलिंग ऑपरेशन कुछ डिजाइन विधियों से बेहतर हैं
  • स्थानिक एकरूपता ध्यान-आधारित विधियों के स्थान पूर्वाग्रह को कम करती है

वीडियो समझ कार्य

  • भले ही केवल 15% टोकन बनाए रखें, यादृच्छिक हटाना डिजाइन विधियों से बेहतर है
  • समान स्थान-समय टोकन वितरण वीडियो प्रतिनिधित्व के लिए महत्वपूर्ण है

छवि जनरेशन कार्य

  • सभी विशेषता-आधारित रणनीतियों का स्कोर यादृच्छिक चयन से कम है
  • समान टोकन क्लस्टरिंग सबसे खराब जनरेशन गुणवत्ता की ओर ले जाती है

प्रदर्शन विश्लेषण

डेटा-केंद्रित संपीड़न कम्प्यूटेशन और मेमोरी दोनों पहलुओं में महत्वपूर्ण लाभ लाता है:

कम्प्यूटेशनल जटिलता: Ω(X')/Ω(X) = O(m²/n²) मेमोरी उपयोग: M(X')/M(X) ≈ m/n KV कैश अनुकूलन: MKV(X')/MKV(X) = m/n

संबंधित कार्य

दक्षता अनुकूलन विधियों का वर्गीकरण

  1. कुशल आर्किटेक्चर: Linear Attention, RWKV, State Space Models (Mamba)
  2. मॉडल संपीड़न: प्रूनिंग, परिमाणीकरण, आसवन, निम्न-रैंक अपघटन
  3. डेटा संपीड़न: डेटासेट संपीड़न, टोकन संपीड़न

इस पेपर का योगदान स्थिति

  • पहली बार डेटा-केंद्रित संपीड़न को AI दक्षता के नए प्रतिमान के रूप में व्यवस्थित रूप से स्थापित करता है
  • विभिन्न दक्षता रणनीतियों को एकीकृत करने के लिए एक एकीकृत सैद्धांतिक ढांचा स्थापित करता है
  • क्षेत्रों में व्यापक विश्लेषण और मूल्यांकन प्रदान करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. प्रतिमान रूपांतरण: AI दक्षता अनुसंधान का ध्यान मॉडल-केंद्रित से डेटा-केंद्रित संपीड़न की ओर स्थानांतरित होना चाहिए
  2. विधि सीमाएं: वर्तमान ध्यान-आधारित संपीड़न विधियों में स्थान पूर्वाग्रह जैसी मौलिक समस्याएं हैं
  3. डिजाइन सिद्धांत: स्थानिक और समय एकरूपता प्रभावी संपीड़न के मुख्य डिजाइन सिद्धांत हैं

वर्तमान चुनौतियां

प्रदर्शन क्षरण समस्या

  • पद्धति संबंधी बाधा: ध्यान स्कोर का स्थान पूर्वाग्रह संपीड़न प्रभाव को प्रभावित करता है
  • अंतर्निहित सीमा: कुछ कार्य (जैसे दृश्य स्थानीयकरण, OCR पार्सिंग) संपीड़न के प्रति संवेदनशील हैं

डेटा प्रतिनिधित्व अनुकूल नहीं

  • अनावश्यकता विधि और महत्व विधि दोनों ही डाउनस्ट्रीम मॉडलिंग के लिए इष्टतम प्रतिनिधित्व की गारंटी नहीं दे सकते
  • अनुक्रम संरचना और शब्दार्थ पैटर्न की स्थिरता पर विचार करने वाली विधियों की कमी

मूल्यांकन निष्पक्षता

  • FLOPs और संपीड़न अनुपात वास्तविक त्वरण प्रभाव को सही ढंग से प्रतिबिंबित नहीं कर सकते
  • संपीड़न के लिए विशेष रूप से डिजाइन किए गए बेंचमार्क की कमी

भविष्य की दिशाएं

डेटा-मॉडल सहयोगी संपीड़न

  • चरणबद्ध एकीकरण: पहले मॉडल संपीड़न फिर डेटा संपीड़न
  • पारस्परिक वृद्धि: ग्रेडिएंट जानकारी का उपयोग टोकन चयन को निर्देशित करने के लिए, टोकन विकास का उपयोग परत प्रूनिंग को निर्देशित करने के लिए

विशेष मूल्यांकन बेंचमार्क

  • क्रॉस-डोमेन कार्य कवरेज (NLP, CV, बहु-मोडल)
  • संपीड़न-संवेदनशील कार्य (OCR, ASR)
  • प्रदर्शन-विलंबता संयुक्त मूल्यांकन

गहन मूल्यांकन

शक्तियां

  1. दूरदर्शी अंतर्दृष्टि: AI विकास की मुख्य प्रवृत्ति परिवर्तन को सटीक रूप से पहचानता है, दूरदर्शी अनुसंधान प्रतिमान प्रस्तावित करता है
  2. सैद्धांतिक योगदान: एक एकीकृत गणितीय ढांचा स्थापित करता है, विभिन्न दक्षता रणनीतियों के लिए सैद्धांतिक आधार प्रदान करता है
  3. व्यापकता विश्लेषण: कई क्षेत्रों और कार्यों में व्यवस्थित विधि वर्गीकरण और विश्लेषण करता है
  4. अनुभवजन्य निष्कर्ष: बड़े पैमाने पर प्रयोगों के माध्यम से वर्तमान विधियों की मौलिक समस्याओं को प्रकट करता है, क्षेत्र विकास के लिए महत्वपूर्ण अंतर्दृष्टि प्रदान करता है
  5. लेखन गुणवत्ता: तर्क स्पष्ट है, अभिव्यक्ति सटीक है, आरेख समृद्ध हैं, समझने में आसान है

कमियां

  1. सैद्धांतिक गहराई: हालांकि एक एकीकृत ढांचा प्रदान करता है, लेकिन डेटा-केंद्रित संपीड़न का सैद्धांतिक विश्लेषण पर्याप्त गहन नहीं है
  2. विधि नवाचार: मुख्य रूप से समीक्षा कार्य है, नई विधियों का प्रस्ताव करने में कमी है
  3. प्रायोगिक श्रेणी: प्रयोग मुख्य रूप से मौजूदा विधियों की समस्याओं को सत्यापित करने पर केंद्रित हैं, समाधान की खोज में कमी है
  4. परिमाणात्मक विश्लेषण: विभिन्न संपीड़न विधियों का सैद्धांतिक जटिलता विश्लेषण पर्याप्त विस्तृत नहीं है

प्रभाव

  1. क्षेत्र योगदान: AI दक्षता अनुसंधान के लिए नई सोच और दिशा प्रदान करता है, इस क्षेत्र में अनुसंधान ध्यान के स्थानांतरण का नेतृत्व कर सकता है
  2. व्यावहारिक मूल्य: विश्लेषण परिणाम वास्तविक तैनाती के लिए महत्वपूर्ण मार्गदर्शन प्रदान करते हैं, विशेष रूप से संसाधन-सीमित वातावरण में
  3. पुनरुत्पादनशीलता: विस्तृत प्रायोगिक सेटअप और github परियोजना प्रदान करता है, बाद के अनुसंधान को सुविधाजनक बनाता है
  4. प्रेरणा: प्रकट की गई समस्याएं और प्रस्तावित दिशाएं भविष्य के अनुसंधान के लिए स्पष्ट रोडमैप प्रदान करती हैं

लागू परिस्थितियां

  1. लंबे संदर्भ अनुप्रयोग: विशेष रूप से लंबे पाठ, उच्च-रिज़ॉल्यूशन छवियों या लंबे वीडियो को संसाधित करने की आवश्यकता वाले परिदृश्यों के लिए उपयुक्त
  2. संसाधन-सीमित वातावरण: मोबाइल डिवाइस, एज कंप्यूटिंग आदि जैसे कम्प्यूटेशनल संसाधन सीमित परिस्थितियों में महत्वपूर्ण मूल्य है
  3. वास्तविक समय इंटरैक्टिव सिस्टम: UI एजेंट, स्वायत्त ड्राइविंग, मूर्त AI आदि जैसे निरंतर इनपुट को कुशलतापूर्वक संसाधित करने की आवश्यकता वाले सिस्टम
  4. बड़े पैमाने पर तैनाती: क्लाउड सेवा प्रदाताओं द्वारा बड़े पैमाने पर मॉडल तैनाती के समय दक्षता अनुकूलन

संदर्भ

पेपर बड़ी संख्या में संबंधित कार्यों का हवाला देता है, मुख्य रूप से शामिल हैं:

  • Transformer आर्किटेक्चर और इसके वेरिएंट (Vaswani et al., 2017)
  • बड़े भाषा मॉडल श्रृंखला (OpenAI GPT, Meta LLaMA, Qwen आदि)
  • बहु-मोडल मॉडल (LLaVA, InternVL आदि)
  • दक्षता अनुकूलन विधियां (परिमाणीकरण, प्रूनिंग, आसवन आदि शास्त्रीय कार्य)
  • डेटा-केंद्रित संपीड़न के प्रतिनिधि कार्य

यह पेपर AI दक्षता अनुसंधान क्षेत्र के लिए एक महत्वपूर्ण सैद्धांतिक ढांचा और व्यावहारिक मार्गदर्शन प्रदान करता है, उच्च शैक्षणिक मूल्य और व्यावहारिक महत्व रखता है।