2025-11-13T00:07:10.698624

Predicting Task Performance with Context-aware Scaling Laws

Montgomery, Park, Tu et al.

Scaling laws have transformed our understanding of large language models by linking upstream metrics like cross-entropy loss to design factors such as model size, training data, and compute. However, these conventional laws fail to capture downstream task performance, where context plays a critical role. In this work, we propose a straightforward, interpretable framework that jointly models downstream performance as a function of the training compute and the provided context. We empirically validate our framework by fitting it on the observed downstream performance of extended-context variants of Llama-2-7B and Llama-2-13B across 65,500 unique instances spanning three tasks: arithmetic reasoning, common sense reasoning, and machine translation. Our results demonstrate that our framework accurately models in-distribution downstream performance, generalizes across three orders of magnitude in training compute, and reliably extrapolates performance as the amount of context increases. These findings offer valuable insights into the interplay between training compute and context utilization, providing guidance for designing more efficient long-context LLMs for diverse downstream tasks. Our code is available at https://github.com/wang-research-lab/context-scaling.

academic

প্রসঙ্গ-সচেতন স্কেলিং নিয়মের সাথে কাজের কর্মক্ষমতা পূর্বাভাস

মৌলিক তথ্য

পেপার আইডি: 2510.14919
শিরোনাম: প্রসঙ্গ-সচেতন স্কেলিং নিয়মের সাথে কাজের কর্মক্ষমতা পূর্বাভাস
লেখক: Kyle Montgomery, David Park, Jianhong Tu, Michael Bendersky, Beliz Gunel, Dawn Song, Chenguang Wang
শ্রেণীবিভাগ: cs.CL cs.AI cs.LG
প্রকাশনার সময়: ২০২৪ সালের ১৬ অক্টোবর (arXiv প্রাক-মুদ্রণ)
পেপার লিঙ্ক: https://arxiv.org/abs/2510.14919
কোড লিঙ্ক: https://github.com/wang-research-lab/context-scaling

সারসংক্ষেপ

ঐতিহ্যবাহী স্নায়ু নেটওয়ার্ক স্কেলিং নিয়মগুলি ঊর্ধ্বমুখী মেট্রিক্স (যেমন ক্রস-এন্ট্রপি ক্ষতি) কে ডিজাইন ফ্যাক্টরগুলির সাথে সংযুক্ত করে (যেমন মডেল আকার, প্রশিক্ষণ ডেটা এবং গণনা), যা বড় ভাষা মডেলগুলির প্রতি আমাদের বোঝাপড়াকে রূপান্তরিত করেছে। তবে, এই ঐতিহ্যবাহী নিয়মগুলি অনুপ্রবাহ কাজের কর্মক্ষমতা ক্যাপচার করতে পারে না, যেখানে প্রসঙ্গ একটি গুরুত্বপূর্ণ ভূমিকা পালন করে। এই পেপারটি একটি স্বজ্ঞাত এবং ব্যাখ্যাযোগ্য কাঠামো প্রস্তাব করে যা অনুপ্রবাহ কর্মক্ষমতাকে প্রশিক্ষণ গণনা এবং প্রদত্ত প্রসঙ্গের যৌথ ফাংশন হিসাবে মডেল করে। লেখকরা Llama-2-7B এবং Llama-2-13B এর সম্প্রসারিত প্রসঙ্গ ভেরিয়েন্টগুলিতে এই কাঠামোটি ফিট করে, তিনটি কাজ জুড়ে ৬৫,৫০০টি অনন্য উদাহরণে অভিজ্ঞতামূলক যাচাইকরণ পরিচালনা করে: পাটিগণিত যুক্তি, সাধারণ জ্ঞান যুক্তি এবং যন্ত্র অনুবাদ। ফলাফলগুলি দেখায় যে কাঠামোটি বিতরণ-মধ্যস্থ অনুপ্রবাহ কর্মক্ষমতা সঠিকভাবে মডেল করে, প্রশিক্ষণ গণনার তিনটি মাত্রা জুড়ে সাধারণীকরণ ক্ষমতা রাখে এবং প্রসঙ্গ পরিমাণ বৃদ্ধির সময় কর্মক্ষমতা নির্ভরযোগ্যভাবে বহিঃপ্রক্ষেপ করতে পারে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

ঐতিহ্যবাহী স্নায়ু নেটওয়ার্ক স্কেলিং নিয়মগুলি প্রধানত ঊর্ধ্বমুখী মেট্রিক্সের উপর দৃষ্টি নিবদ্ধ করে (যেমন ক্রস-এন্ট্রপি ক্ষতি), কিন্তু বাস্তব প্রয়োগে, অনুপ্রবাহ কাজের কর্মক্ষমতা প্রায়শই এই ঊর্ধ্বমুখী প্রবণতার সাথে বিচ্যুত হয়। অনুপ্রবাহ কর্মক্ষমতা পূর্বাভাসের জন্য বিদ্যমান কাজগুলি সাধারণত অত্যন্ত জটিল এবং কম ব্যাখ্যাযোগ্য পদ্ধতির উপর নির্ভর করে।

গবেষণার গুরুত্ব

১. ব্যবহারিক চাহিদা: নির্ভুল অনুপ্রবাহ কর্মক্ষমতা অনুমান মডেল উন্নয়নকে গাইড করতে পারে, কিছু কাজে উদীয়মান বা স্যাচুরেশন ঘটনা চিহ্নিত করতে কম ব্যয়বহুল পরীক্ষা ব্যবহার করে। ২. তাত্ত্বিক ফাঁক: বিদ্যমান স্কেলিং নিয়মগুলি প্রসঙ্গ দৈর্ঘ্যকে উপেক্ষা করে, যা অনুপ্রবাহ কাজে একটি মূল ফ্যাক্টর। ३. ডিজাইন নির্দেশনা: গণনা এবং প্রসঙ্গ ব্যবহারের মধ্যে মিথস্ক্রিয়া বোঝা দীর্ঘ প্রসঙ্গ LLM ডিজাইনের জন্য গুরুত্বপূর্ণ।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

१. Chen et al. (2024): দুই-পর্যায়ের পদ্ধতি ব্যবহার করে, মধ্যস্থতাকারী হিসাবে ঊর্ধ্বমুখী ক্ষতি ব্যবহার করে, অত্যন্ত জটিল। २. Ye et al. (2023): BIG-Bench কর্মক্ষমতা পূর্বাভাস দিতে বহু-স্তরীয় পার্সেপ্ট্রন ব্যবহার করে, ব্যাখ্যাযোগ্যতার অভাব। ३. ঐতিহ্যবাহী স্কেলিং নিয়ম: প্রসঙ্গ দৈর্ঘ্যের প্রভাব সম্পূর্ণভাবে উপেক্ষা করে।

মূল অবদান

१. প্রসঙ্গ-সচেতন স্কেলিং নিয়ম কাঠামো প্রস্তাব: ঐতিহ্যবাহী স্নায়ু স্কেলিং নিয়মগুলিকে অনুপ্রবাহ কাজে প্রসারিত করে, প্রসঙ্গ দৈর্ঘ্য এবং প্রসঙ্গ সীমাবদ্ধতা একত্রিত করে আরও নির্ভুল LLM কর্মক্ষমতা মডেলিং প্রদান করে।

२. বৃহৎ-স্কেল অভিজ্ঞতামূলক যাচাইকরণ: Llama-2 মডেলের সম্প্রসারিত প্রসঙ্গ উইন্ডোতে ৩টি কাজ জুড়ে ফিট করে, স্কেলিং নিয়মের সর্বজনীনতা প্রমাণ করে প্রশিক্ষণ গণনার ৩টি মাত্রা, প্রসঙ্গ দৈর্ঘ্যের ৪টি মাত্রা এবং বিভিন্ন প্রসঙ্গ সম্প্রসারণ কৌশল জুড়ে।

३. ব্যাখ্যাযোগ্য তাত্ত্বিক সরঞ্জাম: গণনা, প্রসঙ্গ এবং অনুপ্রবাহ কর্মক্ষমতার মধ্যে মিথস্ক্রিয়া বোঝার জন্য একটি ব্যাখ্যাযোগ্য কাঠামো প্রদান করে, ভবিষ্যত দীর্ঘ প্রসঙ্গ LLM ডিজাইনের জন্য নির্দেশনা প্রদান করে।

পদ্ধতির বিস্তারিত ব্যাখ্যা

কাজের সংজ্ঞা

অনুপ্রবাহ কাজের কর্মক্ষমতা P কে প্রশিক্ষণ গণনা C, ইনপুট প্রসঙ্গ দৈর্ঘ্য n_pmt এবং মডেল প্রসঙ্গ সীমাবদ্ধতা n_ctx এর ফাংশন হিসাবে পূর্বাভাস দেওয়া।

মডেল আর্কিটেকচার

মূল সূত্র:

P(C, n_pmt, n_ctx) = [1 - exp(-A(C/C_c)^α)] × [1 - exp(-B(n_pmt/n_c_pmt)^β)] × σ(n_pmt - n_ctx)

যেখানে:

প্রথম পদ: প্রশিক্ষণ গণনা C এর স্যাচুরেশন পাওয়ার-ল পদ, পরামিতি A, C_c, α সহ।
দ্বিতীয় পদ: প্রসঙ্গ দৈর্ঘ্য n_pmt এর স্যাচুরেশন পাওয়ার-ল পদ, পরামিতি B, n_c_pmt, β সহ।
তৃতীয় পদ: সিগময়েড শাস্তি পদ, যখন n_pmt > n_ctx হয় তখন কর্মক্ষমতা হ্রাস পায়।

ডিজাইন নীতি

१. গুণনীয় রূপ: গণনা এবং প্রসঙ্গ পরিপূরক কিন্তু সংযোজনীয় নয়, একটি মাত্রায় উল্লেখযোগ্য ঘাটতি অন্য মাত্রা থেকে লাভ সীমাবদ্ধ করে।

२. স্যাচুরেশন পাওয়ার-ল: সূচক মাধ্যমে নিশ্চিত করে যে পূর্বাভাসিত কর্মক্ষমতা তাত্ত্বিক সর্বোচ্চ মান ১.০ এর নিচে থাকে।

३. শাস্তি প্রক্রিয়া: যখন প্রসঙ্গ মডেল সীমাবদ্ধতা অতিক্রম করে, উৎপাদিত টোকেন মডেল নির্ভরযোগ্যভাবে পূর্বাভাস দিতে পারে না এমন পরিসরে পড়ে, যার ফলে কর্মক্ষমতা তীব্রভাবে হ্রাস পায়।

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. যৌথ মডেলিং: প্রথমবারের মতো প্রশিক্ষণ গণনা এবং প্রসঙ্গ দৈর্ঘ্য একীভূত মডেলিং। २. ব্যাখ্যাযোগ্যতা: বিদ্যমান জটিল পদ্ধতির তুলনায়, স্বজ্ঞাত ফাংশন ফর্ম প্রদান করে। ३. সীমানা প্রক্রিয়াকরণ: সিগময়েড পদের মাধ্যমে প্রসঙ্গ সীমাবদ্ধতা সীমানা শর্ত কার্যকরভাবে পরিচালনা করে।

পরীক্ষামূলক সেটআপ

ডেটাসেট

১২টি মডেলকে ৬৫,৫০০টি উদাহরণে মূল্যায়ন করা হয়েছে, ৩টি কাজ জুড়ে:

१. পাটিগণিত যুক্তি: ৩,৫৫০টি পরীক্ষা উদাহরণ

GSM8K, MATH, AQUA-RAT, DeepMind Math
প্রসঙ্গ পূরণ সর্বোচ্চ ৫११টি প্রদর্শন

२. সাধারণ জ্ঞান যুক্তি: ১,৭৫०টি পরীক্ষা উদাহরণ

PIQA, SIQA, OpenBookQA, HellaSwag, WinoGrande, ARC-Easy/Challenge, CommonSenseQA
প্রসঙ্গ পূরণ সর্বোচ্চ ৫११টি প্রদর্শন

३. যন্ত্র অনুবাদ: ১,२५०টি উদাহরণ

WMT-14 (জার্মান, ফরাসি, হিন্দি, চেক, রাশিয়ান → ইংরেজি)
BLEU-4 স্কোর ব্যবহার করে

মডেল কনফিগারেশন

Llama-2-7B এবং Llama-2-13B এর উপর ভিত্তি করে, YaRN প্রযুক্তি ব্যবহার করে প্রসঙ্গ উইন্ডো ৮k, १६k, ३२k, ६४k, १२८k টোকেনে প্রসারিত করা হয়েছে।

মূল্যায়ন মেট্রিক্স

পাটিগণিত যুক্তি এবং সাধারণ জ্ঞান যুক্তি: নির্ভুলতা
যন্ত্র অনুবাদ: BLEU-4 স্কোর
পূর্বাভাস ত্রুটি: গড় পরম পূর্বাভাস ত্রুটি |P - P̂|

ফিটিং প্রক্রিয়া

দুই-পর্যায়ের অপ্টিমাইজেশন ব্যবহার করা হয়েছে: १. বৈশ্বিক অনুসন্ধান: SciPy এর differential_evolution ব্যবহার করে। २. স্থানীয় অপ্টিমাইজেশন: curve_fit ব্যবহার করে নির্ভুল ফিটিং।

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

তিনটি কাজে উৎকৃষ্ট ফিটিং প্রভাব অর্জন করা হয়েছে:

পাটিগণিত যুক্তি: গড় পূর্বাভাস ত্রুটি ০.०१०
সাধারণ জ্ঞান যুক্তি: গড় পূর্বাভাস ত্রুটি ०.०३७
যন্ত্র অনুবাদ: গড় পূর্বাভাস ত্রুটি ०.००७

সাধারণীকরণ ক্ষমতা যাচাইকরণ

१. প্রশিক্ষণ গণনা সাধারণীকরণ (৪.१ বিভাগ)

৫টি পরীক্ষা মডেলে যাচাই করা হয়েছে, প্রশিক্ষণ গণনার ३টি মাত্রা জুড়ে:

Qwen2.5-0.5B থেকে Llama-2-70B
বেশিরভাগ পূর্বাভাস ত্রুটি ৫ পয়েন্টের মধ্যে
পাটিগণিত যুক্তি এবং যন্ত্র অনুবাদে আরও ভাল সাধারণীকরণ

२. প্রসঙ্গ দৈর্ঘ্য সাধারণীকরণ (४.२ বিভাগ)

१०,००० টোকেনের বেশি পর্যবেক্ষণ ধরে রেখে যাচাই করা হয়েছে:

পাটিগণিত যুক্তি: পূর্বাভাস ত্রুটি ०.०१७
সাধারণ জ্ঞান যুক্তি: পূর্বাভাস ত্রুটি ०.०६७
যন্ত্র অনুবাদ: পূর্বাভাস ত্রুটি ०.००६

३. প্রসঙ্গ সম্প্রসারণ প্রযুক্তি সাধারণীকরণ (४.३ বিভাগ)

YaRN এবং অবস্থান ইন্টারপোলেশন প্রযুক্তির তুলনা, অনুরূপ পূর্বাভাস ত্রুটি, পদ্ধতি প্রসঙ্গ সম্প্রসারণ প্রযুক্তির প্রতি অসংবেদনশীল তা নির্দেশ করে।

অপসারণ পরীক্ষা

সিগময়েড শাস্তি পদের গুরুত্ব যাচাই করা হয়েছে:

শাস্তি পদ সহ: পূর্বাভাস ত্রুটি ०.०१०
শাস্তি পদ ছাড়া: পূর্বাভাস ত্রুটি ०.०२९

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. অনুপ্রবাহ কর্মক্ষমতা প্রশিক্ষণ গণনা এবং প্রসঙ্গের যৌথ ফাংশন হিসাবে নির্ভুলভাবে মডেল করা যায়। २. কাঠামোটি বৃহৎ পরিসরের গণনা এবং প্রসঙ্গ দৈর্ঘ্যে ভাল সাধারণীকরণ ক্ষমতা রাখে। ३. কর্মক্ষমতা বর্ধিত গণনা এবং প্রাসঙ্গিক প্রসঙ্গ থেকে উপকৃত হয়, কিন্তু স্যাচুরেশন পয়েন্ট রয়েছে।

সীমাবদ্ধতা

१. অনুমান শর্ত: প্রশিক্ষণ গণনা এবং প্রসঙ্গ স্কেলিং সহ কর্মক্ষমতা স্কেলিং অনুমানের উপর নির্ভর করে, চরম স্কেলিং পরিস্থিতিতে প্রযোজ্য নাও হতে পারে। २. বিবেচনা করা হয়নি এমন ফ্যাক্টর: প্রাক-প্রশিক্ষণ ডেটা মিশ্রণ, পরবর্তী-প্রশিক্ষণ সারিবদ্ধতা, আর্কিটেকচার পছন্দ ইত্যাদি স্পষ্টভাবে বিবেচনা করা হয়নি। ३. গণনা পরিসর: ফিটিং করা গণনা পরিসর তুলনামূলকভাবে সংকীর্ণ, এই পরিসরের বাইরে সাধারণীকরণ ক্ষমতা অজানা।

ভবিষ্যত দিকনির্দেশনা

१. অন্যান্য ফ্যাক্টর (যেমন নির্দেশনা টিউনিং, সারিবদ্ধতা) কীভাবে চিহ্নিত পরামিতিগুলিকে প্রভাবিত করে তা গবেষণা করুন। २. প্রশিক্ষণ গণনার বৃহত্তর পরিসরে প্রসারিত করুন। ३. প্রতিকূল আক্রমণ পরিস্থিতিতে প্রযোজ্যতা অন্বেষণ করুন।

গভীর মূল্যায়ন

সুবিধা

१. তাত্ত্বিক উদ্ভাবন: প্রথমবারের মতো স্কেলিং নিয়মে প্রসঙ্গ দৈর্ঘ্য অন্তর্ভুক্ত করেছে, গুরুত্বপূর্ণ তাত্ত্বিক ফাঁক পূরণ করেছে। २. ব্যবহারিক মূল্য: দীর্ঘ প্রসঙ্গ LLM ডিজাইন গাইড করার জন্য ব্যাখ্যাযোগ্য কাঠামো প্রদান করেছে। ३. পর্যাপ্ত পরীক্ষা: ৬৫,৫००টি উদাহরণের বৃহৎ-স্কেল যাচাইকরণ, একাধিক কাজ এবং মডেল জুড়ে। ४. শক্তিশালী সাধারণীকরণ ক্ষমতা: একাধিক মাত্রায় ভাল সাধারণীকরণ কর্মক্ষমতা প্রদর্শন করেছে। ५. সরল পদ্ধতি: বিদ্যমান জটিল পদ্ধতির তুলনায়, স্বজ্ঞাত ব্যাখ্যাযোগ্য ফাংশন ফর্ম প্রদান করেছে।

অপূর্ণতা

१. মডেল সীমাবদ্ধতা: শুধুমাত্র Llama-2 সিরিজ মডেলে যাচাই করা হয়েছে, বিস্তৃত মডেল পরিবার যাচাইকরণের অভাব। २. কাজ কভারেজ: শুধুমাত্র ३টি কাজের ধরন জড়িত, অন্যান্য NLP কাজে প্রযোজ্যতা অজানা। ३. তাত্ত্বিক ভিত্তি: নির্দিষ্ট ফাংশন ফর্ম কেন গ্রহণ করা হয়েছে তার গভীর তাত্ত্বিক ব্যাখ্যার অভাব। ४. পরামিতি ব্যাখ্যা: প্রতিটি পরামিতির ভৌত অর্থ এবং পারস্পরিক সম্পর্ক বিশ্লেষণ যথেষ্ট নয়।

প্রভাব

१. একাডেমিক মূল্য: স্কেলিং নিয়ম গবেষণার জন্য নতুন দিকনির্দেশনা খুলেছে, ব্যাপক মনোযোগ আকর্ষণ করার প্রত্যাশা। २. ব্যবহারিক নির্দেশনা: শিল্পকে দীর্ঘ প্রসঙ্গ মডেল ডিজাইনের জন্য পরিমাণগত সরঞ্জাম প্রদান করেছে। ३. পুনরুৎপাদনযোগ্যতা: সম্পূর্ণ কোড এবং বিস্তারিত পরীক্ষামূলক সেটআপ প্রদান করেছে, পুনরুৎপাদন এবং সম্প্রসারণ সহজতর করেছে।

প্রযোজ্য পরিস্থিতি

१. মডেল ডিজাইন: দীর্ঘ প্রসঙ্গ LLM এর গণনা সম্পদ বরাদ্দ গাইড করেছে। २. কর্মক্ষমতা পূর্বাভাস: ব্যয়বহুল বৃহৎ-স্কেল প্রশিক্ষণের আগে মডেল কর্মক্ষমতা অনুমান করেছে। ३. কাজ বিশ্লেষণ: বিভিন্ন কাজের প্রসঙ্গ দৈর্ঘ্যের প্রতি সংবেদনশীলতা বোঝা। ४. সম্পদ অপ্টিমাইজেশন: প্রদত্ত গণনা বাজেটে প্রসঙ্গ উইন্ডো আকার অপ্টিমাইজ করেছে।

সংদর্ভ

१. Kaplan, J., et al. (2020). Scaling laws for neural language models. arXiv:2001.08361. २. Chen, Y., et al. (2024). Scaling laws for predicting downstream performance in llms. arXiv:2410.08527. ३. Peng, B., et al. (2024). YaRN: Efficient context window extension of large language models. ICLR. ४. Wei, J., et al. (2022). Emergent abilities of large language models. TMLR. ५. Touvron, H., et al. (2023). Llama 2: Open foundation and fine-tuned chat models. arXiv:2307.09288.

এই পেপারটি স্কেলিং নিয়ম গবেষণা ক্ষেত্রে গুরুত্বপূর্ণ অবদান রেখেছে, প্রথমবারের মতো সিস্টেমেটিকভাবে প্রসঙ্গ দৈর্ঘ্যকে অনুপ্রবাহ কাজের কর্মক্ষমতা পূর্বাভাসে অন্তর্ভুক্ত করেছে, দীর্ঘ প্রসঙ্গ LLM এর ডিজাইন এবং অপ্টিমাইজেশনের জন্য মূল্যবান তাত্ত্বিক সরঞ্জাম এবং ব্যবহারিক নির্দেশনা প্রদান করেছে।