2025-11-12T00:34:29.273016

Shifting AI Efficiency From Model-Centric to Data-Centric Compression

Liu, Wen, Wang et al.
The advancement of large language models (LLMs) and multi-modal LLMs (MLLMs) has historically relied on scaling model parameters. However, as hardware limits constrain further model growth, the primary computational bottleneck has shifted to the quadratic cost of self-attention over increasingly long sequences by ultra-long text contexts, high-resolution images, and extended videos. In this position paper, \textbf{we argue that the focus of research for efficient artificial intelligence (AI) is shifting from model-centric compression to data-centric compression}. We position data-centric compression as the emerging paradigm, which improves AI efficiency by directly compressing the volume of data processed during model training or inference. To formalize this shift, we establish a unified framework for existing efficiency strategies and demonstrate why it constitutes a crucial paradigm change for long-context AI. We then systematically review the landscape of data-centric compression methods, analyzing their benefits across diverse scenarios. Finally, we outline key challenges and promising future research directions. Our work aims to provide a novel perspective on AI efficiency, synthesize existing efforts, and catalyze innovation to address the challenges posed by ever-increasing context lengths.
academic

এআই দক্ষতা মডেল-কেন্দ্রিক থেকে ডেটা-কেন্দ্রিক সংকোচনে স্থানান্তর

মৌলিক তথ্য

  • পেপার আইডি: 2505.19147
  • শিরোনাম: এআই দক্ষতা মডেল-কেন্দ্রিক থেকে ডেটা-কেন্দ্রিক সংকোচনে স্থানান্তর
  • লেখক: Xuyang Liu, Zichen Wen, Shaobo Wang, Junjie Chen, Zhishan Tao, Yubo Wang, Tailai Chen, Xiangqi Jin, Chang Zou, Yiyu Wang, Chenfei Liao, Xu Zheng, Honggang Chen, Weijia Li, Xuming Hu, Conghui He, Linfeng Zhang
  • শ্রেণীবিভাগ: cs.CL, cs.AI, cs.CV
  • প্রকাশনার সময়/সম্মেলন: arXiv প্রিপ্রিন্ট (২০২৫ সালের জানুয়ারি)
  • পেপার লিংক: https://arxiv.org/abs/2505.19147

সারসংক্ষেপ

বৃহৎ ভাষা মডেল (LLM) এবং বহু-মোডাল বৃহৎ ভাষা মডেল (MLLM) এর বিকাশের সাথে, ঐতিহ্যগতভাবে মডেল পরামিতি সম্প্রসারণের মাধ্যমে কর্মক্ষমতা উন্নত করার পদ্ধতি হার্ডওয়্যার সীমাবদ্ধতার সম্মুখীন হচ্ছে। বর্তমান প্রধান গণনাগত বাধা মডেল আকার থেকে অতি-দীর্ঘ পাঠ্য প্রসঙ্গ, উচ্চ-রেজোলিউশন চিত্র এবং দীর্ঘ ভিডিও প্রক্রিয়াকরণে স্ব-মনোযোগ প্রক্রিয়াকরণের দ্বিঘাত জটিলতা খরচে স্থানান্তরিত হয়েছে। এই পেপারটি প্রস্তাব করে যে এআই দক্ষতা গবেষণার ফোকাস মডেল-কেন্দ্রিক সংকোচন থেকে ডেটা-কেন্দ্রিক সংকোচনে স্থানান্তরিত হওয়া উচিত। ডেটা-কেন্দ্রিক সংকোচন প্রশিক্ষণ বা অনুমান পর্যায়ে প্রক্রিয়াকৃত ডেটার পরিমাণ সরাসরি সংকুচিত করে এআই দক্ষতা উন্নত করে। পেপারটি দক্ষতা কৌশলের একটি একীভূত কাঠামো প্রতিষ্ঠা করে, ডেটা-কেন্দ্রিক সংকোচন পদ্ধতির সম্পূর্ণ দৃশ্যকল্প পদ্ধতিগতভাবে পর্যালোচনা করে, বিভিন্ন পরিস্থিতিতে এর সুবিধা বিশ্লেষণ করে এবং মূল চ্যালেঞ্জ ও ভবিষ্যত গবেষণা দিকনির্দেশনা রূপরেখা দেয়।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

এই পেপারটি যে মূল সমস্যা সমাধান করতে চায় তা হল: এআই মডেল যে প্রসঙ্গ দৈর্ঘ্য প্রক্রিয়া করে তা দ্রুত বৃদ্ধির সাথে সাথে, এর ফলে সৃষ্ট গণনাগত দক্ষতা চ্যালেঞ্জ কীভাবে কার্যকরভাবে মোকাবেলা করা যায়।

গুরুত্ব বিশ্লেষণ

  1. প্রযুক্তিগত প্রবণতা পরিবর্তন: ২০২২-২০২৪ সালে, এআই কর্মক্ষমতা উন্নতি প্রধানত মডেল আকার সম্প্রসারণের উপর নির্ভর করেছিল, কিন্তু ২০২৪ সালের মধ্যে মডেল আকার বৃদ্ধি মন্থর হয়েছে (প্রায় ১ট্রিলিয়ন পরামিতি), যখন প্রসঙ্গ দৈর্ঘ্য ক্রমাগত সূচকীয়ভাবে বৃদ্ধি পাচ্ছে
  2. গণনাগত বাধা স্থানান্তর: প্রধান গণনা খরচ রৈখিক পরামিতি বৃদ্ধি থেকে স্ব-মনোযোগ প্রক্রিয়াকরণের দ্বিঘাত জটিলতা O(n²) এ স্থানান্তরিত হয়েছে
  3. ক্রস-ডোমেইন চাহিদা: ভাষা মডেলগুলিকে দীর্ঘতর অনুমান শৃঙ্খল প্রক্রিয়া করতে হবে, দৃষ্টি মডেলগুলিকে উচ্চতর রেজোলিউশন চিত্র এবং দীর্ঘতর ভিডিও প্রক্রিয়া করতে হবে, এবং উৎপাদন মডেলগুলিকে উচ্চতর গুণমানের বিষয়বস্তু তৈরি করতে হবে

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

ঐতিহ্যবাহী মডেল-কেন্দ্রিক সংকোচন পদ্ধতি (পরিমাণীকরণ, ছাঁটাই, পাতন, নিম্ন-র্যাঙ্ক বিয়োজন) প্রধানত মডেল পরামিতি W অপ্টিমাইজ করার জন্য লক্ষ্য করে, কিন্তু প্রসঙ্গ দৈর্ঘ্য বৃদ্ধি দ্বারা সৃষ্ট চ্যালেঞ্জ কার্যকরভাবে মোকাবেলা করতে পারে না। এই পদ্ধতিগুলি দীর্ঘ ক্রম মোকাবেলা করার সময় এখনও সম্পূর্ণ ইনপুট ডেটা X প্রক্রিয়া করতে হয়, দ্বিঘাত জটিলতা সমস্যার মূল সমাধান করতে পারে না।

গবেষণা প্রেরণা

এআই উন্নয়ন প্রবণতার গভীর বিশ্লেষণের উপর ভিত্তি করে, লেখকরা ডেটা-কেন্দ্রিক সংকোচন একটি নতুন প্যারাডাইম হিসাবে প্রস্তাব করেন, যা প্রক্রিয়াকৃত ডেটার পরিমাণ সরাসরি হ্রাস করে দীর্ঘ প্রসঙ্গ চ্যালেঞ্জ মোকাবেলা করে, যা আরও ভাল সর্বজনীনতা, দক্ষতা এবং সামঞ্জস্যতা প্রদান করে।

মূল অবদান

  1. প্যারাডাইম রূপান্তর বিশ্লেষণ: পরামিতি-কেন্দ্রিক থেকে প্রসঙ্গ-কেন্দ্রিক গণনাগত বাধায় এআই দক্ষতা গবেষণার মূল রূপান্তর বিশ্লেষণ করে, দক্ষতা অপ্টিমাইজেশন প্যারাডাইম রূপান্তরের প্রয়োজনীয়তা প্রমাণ করে
  2. একীভূত তাত্ত্বিক কাঠামো: স্থাপত্য ডিজাইন, মডেল-কেন্দ্রিক সংকোচন এবং ডেটা-কেন্দ্রিক সংকোচন অন্তর্ভুক্ত করে একটি একীভূত গাণিতিক প্রকাশ কাঠামো প্রতিষ্ঠা করে
  3. পদ্ধতিগত পর্যালোচনা: ডেটা-কেন্দ্রিক সংকোচন পদ্ধতির ব্যাপক তদন্ত পরিচালনা করে, একটি একীভূত শ্রেণীবিভাগ কাঠামো তৈরি করে, বিভিন্ন পরিস্থিতিতে সুবিধা বিশ্লেষণ করে
  4. চ্যালেঞ্জ এবং দিকনির্দেশনা: বর্তমান চ্যালেঞ্জ গভীরভাবে বিশ্লেষণ করে এবং প্রতিশ্রুতিশীল ভবিষ্যত গবেষণা দিকনির্দেশনা প্রস্তাব করে, এই ক্ষেত্রে উদ্ভাবন ত্বরান্বিত করার লক্ষ্যে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

ডেটা-কেন্দ্রিক সংকোচন সংকোচন অপারেশন Φ এর মাধ্যমে মূল ইনপুট ক্রম X কে সংকুচিত প্রতিনিধিত্ব X' তে রূপান্তরিত করার লক্ষ্য রাখে, যা |X'| < |X| সন্তুষ্ট করে, যখন মডেল কর্মক্ষমতা যতটা সম্ভব বজায় রাখে।

একীভূত কাঠামো

ইনপুট ডেটা X এবং নেটওয়ার্ক পরামিতি W দেওয়া, স্নায়ু নেটওয়ার্ক F এর আউটপুট:

Y = F(W, X)

দক্ষতা অপ্টিমাইজেশন তিনটি দিক থেকে পরিচালিত হতে পারে:

  1. দক্ষ গণনা স্থাপত্য (F): রৈখিক বা সাব-দ্বিঘাত জটিলতার স্থাপত্য ডিজাইন করা
  2. মডেল-কেন্দ্রিক সংকোচন (W): W' = Γ(W), |W'| < |W|
  3. ডেটা-কেন্দ্রিক সংকোচন (X): X' = Φ(X), |X'| < |X|

ডেটা-কেন্দ্রিক সংকোচন স্থাপত্য

সংকোচন মান (E)

পরামিতিযুক্ত পদ্ধতি:

  • প্রশিক্ষণ-সচেতন পদ্ধতি: অতিরিক্ত পরামিতি Δθ প্রশিক্ষণের মাধ্যমে স্কোরিং ফাংশন শিখা
  • প্রশিক্ষণ-অজ্ঞাত পদ্ধতি: সরাসরি প্রাক-প্রশিক্ষিত নেটওয়ার্ককে স্কোরিং ফাংশন হিসাবে ব্যবহার করা

অ-পরামিতিযুক্ত পদ্ধতি:

  • অন্তর্নিহিত গণনা পদ্ধতি: টোকেন স্কোরিংয়ের জন্য মডেল অভ্যন্তরীণ গণনা (যেমন মনোযোগ ওজন) ব্যবহার করা
  • বাহ্যিক গণনা পদ্ধতি: টোকেন সম্পর্ক মূল্যায়নের জন্য অতিরিক্ত মেট্রিক ডিজাইন করা

সংকোচন কৌশল (P)

টোকেন ছাঁটাই: সরাসরি কম গুরুত্বপূর্ণ টোকেন বাদ দেওয়া

X' = X \ {xt | st < τ}

টোকেন একত্রীকরণ: শব্দার্থিক সাদৃশ্যের মাধ্যমে টোকেন একত্রিত করা

x'_m = Σ(t:π(t)=m) wt * xt, wt = st / Σ(t':π(t')=m) st'

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

  1. দ্বি-পর্যায়ের দক্ষতা: প্রশিক্ষণ এবং অনুমান পর্যায় উভয়ই ত্বরান্বিত করা
  2. স্থাপত্য সামঞ্জস্যতা: বিদ্যমান সংকোচন পদ্ধতির সাথে অর্থোগোনাল, নির্বিঘ্নে একীভূত করা যায়
  3. দ্বিঘাত লাভ: স্ব-মনোযোগের O(n²) জটিলতা থেকে উল্লেখযোগ্য গণনা সঞ্চয় অর্জন করা
  4. সর্বজনীন প্রযোজ্যতা: মোডালিটি এবং কাজ জুড়ে টোকেন অপ্রয়োজনীয়তার সামঞ্জস্য
  5. কম বাস্তবায়ন খরচ: আধুনিক স্থাপত্য পরিবর্তনশীল-দৈর্ঘ্য ইনপুট সমর্থন করে, পুনঃপ্রশিক্ষণের প্রয়োজন নেই

পরীক্ষামূলক সেটআপ

ডেটাসেট এবং মূল্যায়ন

পেপারটি একাধিক ডোমেইনের পরীক্ষার মাধ্যমে ডেটা-কেন্দ্রিক সংকোচন পদ্ধতির কার্যকারিতা যাচাই করে:

জটিল অনুমান কাজ:

  • MATH-500, AIME24, GSM8K
  • মডেল: DeepSeek-R1-Distill-Llama-8B
  • KV ক্যাশ বাজেট: 1024 টোকেন

চিত্র বোঝার কাজ:

  • GQA, MMB, MMB-CN
  • মডেল: LLaVA-1.5-7B
  • 25% ভিজ্যুয়াল টোকেন সংরক্ষণ করা

ভিডিও বোঝার কাজ:

  • MVBench, MLVU, VideoMME
  • মডেল: LLaVA-OneVision-7B
  • 15% ভিজ্যুয়াল টোকেন সংরক্ষণ করা

চিত্র উৎপাদন কাজ:

  • মডেল: FLUX.1-dev (DiT-ভিত্তিক)
  • ক্যাশ চক্র N=4, অনুপাত R=90%

তুলনামূলক পদ্ধতি

  • KV ক্যাশ পদ্ধতি: H2O, SnapKV, KNorm
  • ভিজ্যুয়াল সংকোচন পদ্ধতি: FastV, SparseVLM, PDrop
  • ভিত্তিরেখা পদ্ধতি: র্যান্ডম ড্রপিং, পুলিং

পরীক্ষামূলক ফলাফল

প্রধান অনুসন্ধান

পরীক্ষা একটি প্রতিবিরুদ্ধ ঘটনা প্রকাশ করে: সাবধানে ডিজাইন করা সংকোচন পদ্ধতি একাধিক পরিস্থিতিতে র্যান্ডম ড্রপিংয়ের চেয়ে খারাপ পারফর্ম করে।

জটিল অনুমান কাজ

  • AIME24 এ, র্যান্ডম ড্রপিং SnapKV এর চেয়ে 10% নির্ভুলতা বেশি
  • H2O, SnapKV, KNorm সবই ক্রমাগত র্যান্ডম ড্রপিংয়ের নিচে

চিত্র বোঝার কাজ

  • র্যান্ডম ড্রপিং এবং পুলিং অপারেশন কিছু ডিজাইন পদ্ধতির চেয়ে উন্নত
  • স্থানিক সমানতা মনোযোগ-ভিত্তিক পদ্ধতির অবস্থান পক্ষপাত প্রশমিত করে

ভিডিও বোঝার কাজ

  • এমনকি শুধুমাত্র 15% টোকেন সংরক্ষণ করার সময়, র্যান্ডম ড্রপিং ডিজাইন পদ্ধতির চেয়ে উন্নত
  • সমান স্থানকালীন টোকেন বিতরণ ভিডিও প্রতিনিধিত্বের জন্য অপরিহার্য

চিত্র উৎপাদন কাজ

  • সমস্ত বৈশিষ্ট্য-ভিত্তিক কৌশল স্কোর র্যান্ডম নির্বাচনের চেয়ে কম
  • অনুরূপ টোকেন ক্লাস্টারিং সবচেয়ে খারাপ উৎপাদন গুণমান সৃষ্টি করে

কর্মক্ষমতা বিশ্লেষণ

ডেটা-কেন্দ্রিক সংকোচন গণনা এবং স্মৃতি দিক থেকে উল্লেখযোগ্য লাভ নিয়ে আসে:

গণনা জটিলতা: Ω(X')/Ω(X) = O(m²/n²) স্মৃতি ব্যবহার: M(X')/M(X) ≈ m/n KV ক্যাশ অপ্টিমাইজেশন: MKV(X')/MKV(X) = m/n

সম্পর্কিত কাজ

দক্ষতা অপ্টিমাইজেশন পদ্ধতি শ্রেণীবিভাগ

  1. দক্ষ স্থাপত্য: Linear Attention, RWKV, State Space Models (Mamba)
  2. মডেল সংকোচন: ছাঁটাই, পরিমাণীকরণ, পাতন, নিম্ন-র্যাঙ্ক বিয়োজন
  3. ডেটা সংকোচন: ডেটাসেট সংকোচন, টোকেন সংকোচন

এই পেপারের অবদান অবস্থান

  • প্রথমবারের মতো পদ্ধতিগতভাবে ডেটা-কেন্দ্রিক সংকোচনকে এআই দক্ষতার নতুন প্যারাডাইম হিসাবে অবস্থান করা
  • বিভিন্ন দক্ষতা কৌশল একীভূত করার জন্য একটি একীভূত তাত্ত্বিক কাঠামো প্রতিষ্ঠা করা
  • ক্রস-ডোমেইন ব্যাপক বিশ্লেষণ এবং মূল্যায়ন প্রদান করা

উপসংহার এবং আলোচনা

প্রধান উপসংহার

  1. প্যারাডাইম রূপান্তর: এআই দক্ষতা গবেষণার ফোকাস মডেল-কেন্দ্রিক থেকে ডেটা-কেন্দ্রিক সংকোচনে স্থানান্তরিত হওয়া উচিত
  2. পদ্ধতি সীমাবদ্ধতা: বর্তমান মনোযোগ-ভিত্তিক সংকোচন পদ্ধতি অবস্থান পক্ষপাত ইত্যাদি মৌলিক সমস্যা রয়েছে
  3. ডিজাইন নীতি: স্থানিক এবং সময়গত সমানতা কার্যকর সংকোচনের মূল ডিজাইন নীতি

বর্তমান চ্যালেঞ্জ

কর্মক্ষমতা অবনতি সমস্যা

  • পদ্ধতিগত বাধা: মনোযোগ স্কোরের অবস্থান পক্ষপাত সংকোচন প্রভাব প্রভাবিত করে
  • অন্তর্নিহিত সীমাবদ্ধতা: কিছু কাজ (যেমন ভিজ্যুয়াল লোকেশন, OCR পার্সিং) সংকোচনের প্রতি সংবেদনশীল

ডেটা প্রতিনিধিত্ব অপ্টিমাল নয়

  • অপ্রয়োজনীয়তা পদ্ধতি এবং গুরুত্ব পদ্ধতি উভয়ই সর্বোত্তম ডাউনস্ট্রিম মডেলিং প্রতিনিধিত্ব নিশ্চিত করতে পারে না
  • ক্রম কাঠামো এবং শব্দার্থিক প্যাটার্ন স্থিতিশীলতা বিবেচনা করার অভাব

মূল্যায়ন ন্যায্যতা

  • FLOPs এবং সংকোচন অনুপাত প্রকৃত ত্বরণ প্রভাব প্রতিফলিত করতে পারে না
  • সংকোচন-নির্দিষ্ট বেঞ্চমার্কের অভাব

ভবিষ্যত দিকনির্দেশনা

ডেটা-মডেল সহযোগী সংকোচন

  • পর্যায়ক্রমিক একীকরণ: প্রথমে মডেল সংকোচন তারপর ডেটা সংকোচন
  • পারস্পরিক বৃদ্ধি: গ্রেডিয়েন্ট তথ্য ব্যবহার করে টোকেন নির্বাচন গাইড করা, টোকেন বিবর্তন ব্যবহার করে স্তর ছাঁটাই গাইড করা

বিশেষায়িত মূল্যায়ন বেঞ্চমার্ক

  • ক্রস-ডোমেইন কাজ কভারেজ (NLP, CV, বহু-মোডাল)
  • সংকোচন-সংবেদনশীল কাজ (OCR, ASR)
  • কর্মক্ষমতা-বিলম্ব যৌথ মূল্যায়ন

গভীর মূল্যায়ন

শক্তি

  1. দূরদর্শী অন্তর্দৃষ্টি: এআই উন্নয়নের মূল প্রবণতা পরিবর্তন সঠিকভাবে চিহ্নিত করে, দূরদর্শী গবেষণা প্যারাডাইম প্রস্তাব করে
  2. তাত্ত্বিক অবদান: একটি একীভূত গাণিতিক কাঠামো প্রতিষ্ঠা করে, বিভিন্ন দক্ষতা কৌশলের জন্য তাত্ত্বিক ভিত্তি প্রদান করে
  3. ব্যাপক বিশ্লেষণ: একাধিক ডোমেইন এবং কাজ জুড়ে পদ্ধতিগত শ্রেণীবিভাগ এবং বিশ্লেষণ পরিচালনা করে
  4. অভিজ্ঞতামূলক আবিষ্কার: বিস্তৃত পরীক্ষার মাধ্যমে বর্তমান পদ্ধতির মৌলিক সমস্যা প্রকাশ করে, ক্ষেত্র উন্নয়নের জন্য গুরুত্বপূর্ণ অন্তর্দৃষ্টি প্রদান করে
  5. লেখার গুণমান: যুক্তি স্পষ্ট, প্রকাশ নির্ভুল, চার্ট সমৃদ্ধ, বোঝা সহজ

অপূর্ণতা

  1. তাত্ত্বিক গভীরতা: যদিও একটি একীভূত কাঠামো প্রদান করে, ডেটা-কেন্দ্রিক সংকোচনের তাত্ত্বিক বিশ্লেষণ এখনও যথেষ্ট গভীর নয়
  2. পদ্ধতিগত উদ্ভাবন: প্রধানত পর্যালোচনা কাজ, নির্দিষ্ট নতুন পদ্ধতি প্রস্তাবের অভাব
  3. পরীক্ষার পরিসীমা: পরীক্ষা প্রধানত বর্তমান পদ্ধতির সমস্যা যাচাইয়ে কেন্দ্রীভূত, সমাধান অন্বেষণের অভাব
  4. পরিমাণগত বিশ্লেষণ: বিভিন্ন সংকোচন পদ্ধতির তাত্ত্বিক জটিলতা বিশ্লেষণ যথেষ্ট বিস্তারিত নয়

প্রভাব

  1. ক্ষেত্র অবদান: এআই দক্ষতা গবেষণার জন্য নতুন চিন্তাভাবনা এবং দিকনির্দেশনা প্রদান করে, এই ক্ষেত্রের গবেষণা ফোকাস স্থানান্তর নেতৃত্ব দিতে পারে
  2. ব্যবহারিক মূল্য: বিশ্লেষণ ফলাফল প্রকৃত স্থাপনার জন্য গুরুত্বপূর্ণ নির্দেশনা রয়েছে, বিশেষত সম্পদ-সীমিত পরিবেশে
  3. পুনরুৎপাদনযোগ্যতা: বিস্তারিত পরীক্ষামূলক সেটআপ এবং github প্রকল্প প্রদান করে, পরবর্তী গবেষণা সুবিধা করে
  4. অনুপ্রেরণা: প্রকাশিত সমস্যা এবং প্রস্তাবিত দিকনির্দেশনা ভবিষ্যত গবেষণার জন্য স্পষ্ট রোডম্যাপ প্রদান করে

প্রযোজ্য পরিস্থিতি

  1. দীর্ঘ প্রসঙ্গ প্রয়োগ: বিশেষত দীর্ঘ পাঠ্য, উচ্চ-রেজোলিউশন চিত্র বা দীর্ঘ ভিডিও প্রক্রিয়াকরণের প্রয়োজনীয় পরিস্থিতিতে উপযুক্ত
  2. সম্পদ-সীমিত পরিবেশ: মোবাইল ডিভাইস, এজ কম্পিউটিং ইত্যাদি সীমিত গণনা সম্পদের পরিস্থিতিতে গুরুত্বপূর্ণ মূল্য রয়েছে
  3. রিয়েল-টাইম ইন্টারঅ্যাক্টিভ সিস্টেম: UI এজেন্ট, স্বয়ংচালিত ড্রাইভিং, মূর্ত এআই ইত্যাদি ক্রমাগত ইনপুট দক্ষতার সাথে প্রক্রিয়া করার প্রয়োজনীয় সিস্টেম
  4. বৃহৎ-স্কেল স্থাপনা: ক্লাউড সেবা প্রদানকারীরা বৃহৎ-স্কেল মডেল স্থাপনার সময় দক্ষতা অপ্টিমাইজেশনে

সংদর্ভ

পেপারটি সম্পর্কিত কাজের বিস্তৃত উদ্ধৃতি প্রদান করে, প্রধানত অন্তর্ভুক্ত:

  • Transformer স্থাপত্য এবং এর বৈকল্পিক (Vaswani et al., 2017)
  • বৃহৎ ভাষা মডেল সিরিজ (OpenAI GPT, Meta LLaMA, Qwen ইত্যাদি)
  • বহু-মোডাল মডেল (LLaVA, InternVL ইত্যাদি)
  • দক্ষতা অপ্টিমাইজেশন পদ্ধতি (পরিমাণীকরণ, ছাঁটাই, পাতন ইত্যাদি ক্লাসিক কাজ)
  • ডেটা-কেন্দ্রিক সংকোচনের প্রতিনিধিত্বমূলক কাজ

এই পেপারটি এআই দক্ষতা গবেষণা ক্ষেত্রের জন্য একটি গুরুত্বপূর্ণ তাত্ত্বিক কাঠামো এবং ব্যবহারিক নির্দেশনা প্রদান করে, উচ্চ একাডেমিক মূল্য এবং ব্যবহারিক তাৎপর্য রয়েছে।