স্কেলে নির্দেশনা অনুসরণ বৃদ্ধি

মৌলিক তথ্য

• পেপার আইডি: 2510.14842
• শিরোনাম: Boosting Instruction Following at Scale
• লেখক: Ben Elder, Evelyn Duesterwald, Vinod Muthusamy (IBM T.J. Watson Research)
• শ্রেণীবিভাগ: cs.AI
• প্রকাশনার সময়: ২০২৫ সালের ১৬ অক্টোবর (arXiv প্রি-প্রিন্ট)
• পেপার লিংক: https://arxiv.org/abs/2510.14842

সারসংক্ষেপ

উন্নয়নকারীরা সাধারণত সতর্কতার সাথে ডিজাইন করা প্রম্পট শব্দ দ্বারা বড় ভাষা মডেল (LLM) এর আচরণকে প্রভাবিত করে, যেমন নির্দেশনা যোগ করা বা সংশোধন করা। তবে, কেবল আরও বেশি নির্দেশনা যোগ করা তাদের অনুসরণের নিশ্চয়তা দেয় না। এই পেপারটি নির্দেশনা বৃদ্ধি (Instruction Boosting) প্রস্তাব করে যা LLM প্রম্পট নির্দেশনার নির্ভরযোগ্যতা বৃদ্ধির জন্য একটি পোস্ট-জেনারেশন পদ্ধতি। গবেষণা দেখায় যে নির্দেশনা বৃদ্ধি দুটি নির্দেশনায় নির্দেশনা অনুসরণের হার ৭ শতাংশ পর্যন্ত বৃদ্ধি করতে পারে এবং দশটি নির্দেশনায় ৪ শতাংশ পর্যন্ত বৃদ্ধি করতে পারে। এই ফলাফলগুলি যাচাই করার জন্য, লেখকরা SCALEDIF বেঞ্চমার্ক প্রবর্তন করেছেন, যাতে প্রতিটি ডেটা নমুনার জন্য সর্বোচ্চ দশটি নির্দেশনা রয়েছে। পেপারটি নির্দেশনার সংখ্যা বৃদ্ধির সাথে সাথে কর্মক্ষমতা হ্রাসের সাধারণ প্রবণতাও বিশ্লেষণ করে, যা দেখায় যে এই প্রবণতার কারণ হল নির্দেশনার সংখ্যা বৃদ্ধির সময় উত্পন্ন উত্তেজনা এবং সংঘর্ষের মাত্রা।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

১. নির্দেশনা অনুসরণের অনির্ভরযোগ্যতা: উন্নয়নকারীদের দ্বারা যোগ করা প্রম্পট নির্দেশনা LLM দ্বারা প্রকৃতপক্ষে অনুসরণ করা হবে এমন নিশ্চয়তা দেয় না २. নির্দেশনা সম্প্রসারণ সমস্যা: নির্দেশনার সংখ্যা বৃদ্ধির সাথে সাথে LLM এর নির্দেশনা অনুসরণের হার (IF rate) উল্লেখযোগ্যভাবে হ্রাস পায় ३. নির্দেশনা সংঘর্ষ: একাধিক নির্দেশনা মধ্যে উত্তেজনা বা এমনকি সরাসরি বিরোধ থাকতে পারে, যা সমস্ত নির্দেশনা একযোগে পূরণ করা কঠিন করে তোলে

গবেষণার গুরুত্ব

• LLM স্মার্ট অ্যাপ্লিকেশন উন্নয়নের মূল উপাদান হয়ে উঠেছে, কিন্তু এর আচরণ নিয়ন্ত্রণ কঠিন
• প্রম্পট ইঞ্জিনিয়ারিং LLM আচরণকে প্রভাবিত করার প্রধান পদ্ধতি, কিন্তু নির্ভরযোগ্যতার নিশ্চয়তা অভাব
• বিদ্যমান গবেষণা বড় আকারের নির্দেশনা পরিস্থিতির সিস্টেমেটিক বিশ্লেষণের অভাব রয়েছে

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

• ঐতিহ্যবাহী পদ্ধতি প্রধানত একক বা কম সংখ্যক নির্দেশনা অনুসরণে ফোকাস করে
• নির্দেশনা সংঘর্ষ এবং সম্প্রসারণযোগ্যতা সমস্যার জন্য সিস্টেমেটিক সমাধানের অভাব
• বিদ্যমান বেঞ্চমার্ক (যেমন IFEval) সর্বোচ্চ ৩টি নির্দেশনা ধারণ করে, বড় আকারের নির্দেশনা পরিস্থিতি মূল্যায়ন করতে পারে না

মূল অবদান

१. নির্দেশনা বৃদ্ধি পদ্ধতি প্রস্তাব: একটি পরীক্ষার সময় পোস্ট-জেনারেশন পদ্ধতি যা প্রাথমিক প্রতিক্রিয়া সংশোধন এবং পরিমার্জন করে নির্দেশনা অনুসরণের হার বৃদ্ধি করে २. SCALEDIF ডেটাসেট নির্মাণ: IFEval ডেটাসেট সম্প্রসারণ করে, প্রতিটি নমুনার জন্য সর্বোচ্চ ১০টি নির্দেশনা সহ বড় আকারের নির্দেশনা অনুসরণ বেঞ্চমার্ক অন্তর্ভুক্ত করে ३. পরিমাণগত সংঘর্ষ স্কোরিং সরঞ্জাম: নির্দেশনা সংঘর্ষ মূল্যায়নের জন্য একটি পরিমাণগত প্রক্রিয়া বিকাশ করে, কর্মক্ষমতা প্রবণতা ব্যাখ্যা করে এবং উন্নয়নকারীদের প্রতিক্রিয়া প্রদান করে ४. নরম সংঘর্ষ ধারণা: নির্দেশনার মধ্যে "নরম সংঘর্ষ" ধারণা আনুষ্ঠানিকভাবে সংজ্ঞায়িত করে, কর্মক্ষমতায় এর প্রভাব বিশ্লেষণ করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

একটি প্রশ্ন Q, নির্দেশনার একটি সেট I={I₁, I₂, ..., Iₙ} এবং LLM এর প্রাথমিক প্রতিক্রিয়া R দেওয়া হলে, নির্দেশনা বৃদ্ধির লক্ষ্য হল একটি সংশোধিত প্রতিক্রিয়া R' তৈরি করা যাতে R' আরও বেশি নির্দেশনা অনুসরণ করে।

নির্দেশনা বৃদ্ধি স্থাপত্য

সামগ্রিক প্রক্রিয়া

१. প্রাথমিক প্রজন্ম: LLM প্রশ্ন এবং নির্দেশনা অনুযায়ী প্রাথমিক প্রতিক্রিয়া তৈরি করে २. নির্দেশনা সনাক্তকরণ: IF সনাক্তকারী ব্যবহার করে কোন নির্দেশনা অনুসরণ করা হয়নি তা চিহ্নিত করে ३. বৃদ্ধি অ্যালগরিদম: প্রতিক্রিয়া সংশোধনের জন্য নির্দিষ্ট কৌশল প্রয়োগ করে ४. চূড়ান্ত আউটপুট: আরও বেশি নির্দেশনা অনুসরণ করে এমন চূড়ান্ত প্রতিক্রিয়া উত্পাদন করে

চারটি বৃদ্ধি কৌশল

१. Detect+Repair

• সনাক্তকরণ পর্যায়: LLM-as-a-judge সনাক্তকারী ব্যবহার করে লঙ্ঘিত নির্দেশনা চিহ্নিত করে
• মেরামত পর্যায়: সমস্ত সনাক্ত করা নির্দেশনা লঙ্ঘন মেরামত করতে প্রতিক্রিয়া পুনর্লিখন করে

२. Best-of-N

• N টি পুনর্লিখন প্রতিক্রিয়া নমুনা করে (N=5)
• পুরস্কার মডেল হিসাবে judge সনাক্তকারী ব্যবহার করে স্কোর করে
• চূড়ান্ত আউটপুট হিসাবে সর্বোচ্চ IF হার সহ প্রতিক্রিয়া নির্বাচন করে

३. Best-of-N Oracle

• Best-of-N এর অনুরূপ, কিন্তু নিশ্চিত IFEval যাচাইকারী oracle পুরস্কার মডেল হিসাবে ব্যবহার করে
• মডেল পুনর্লিখনের সম্ভাব্য ক্ষমতা উপরের সীমা মূল্যায়ন করতে ব্যবহৃত হয়

४. Map Reduce

• Map পর্যায়: প্রতিটি লঙ্ঘিত নির্দেশনার জন্য স্বাধীন পুনর্লিখন কাজ তৈরি করে
• Reduce পর্যায়: স্বাধীনভাবে উত্পন্ন পুনর্লিখন প্রতিক্রিয়াগুলি চূড়ান্ত প্রতিক্রিয়ায় একত্রিত করে

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. পোস্ট-জেনারেশন অপ্টিমাইজেশন: "সাব-অপ্টিমাল প্রতিক্রিয়া সংশোধন সরাসরি নিখুঁত প্রতিক্রিয়া তৈরি করার চেয়ে সহজ" পর্যবেক্ষণের উপর ভিত্তি করে २. মাল্টি-কৌশল ডিজাইন: বিভিন্ন খরচ-কর্মক্ষমতা ট্রেড-অফ সহ কৌশল পছন্দ প্রদান করে ३. নরম সংঘর্ষ পরিমাণকরণ: স্ব-খেলা পদ্ধতির মাধ্যমে অভিজ্ঞতামূলকভাবে নির্দেশনার মধ্যে নরম সংঘর্ষ চিহ্নিত করে

পরীক্ষামূলক সেটআপ

SCALEDIF ডেটাসেট নির্মাণ

মৌলিক ডেটা

• IFEval ডেটাসেটের ৫৩৮টি নমুনা (মূল ৫৪১টির মধ্যে ৫৩৮টি)
• প্রতিটি নমুনায় একটি প্রশ্ন এবং ১০টি অনন্য নির্দেশনা রয়েছে
• ২৬টি প্রশ্ন-অপ্রাসঙ্গিক নির্দেশনা বিভাগ, ৮টি বিভাগে বিভক্ত

নির্দেশনা বিভাগ

१. change_case: বড় ছোট হাতের রূপান্তর २. combination: সংমিশ্রণ সীমাবদ্ধতা ३. detectable_content: সনাক্তযোগ্য বিষয়বস্তু ४. detectable_format: সনাক্তযোগ্য বিন্যাস ५. keywords: কীওয়ার্ড সীমাবদ্ধতা ६. length_constraints: দৈর্ঘ্য সীমাবদ্ধতা ७. punctuation: বিরাম চিহ্ন ८. startend: শুরু শেষ সীমাবদ্ধতা

সীমাবদ্ধতা নমুনা অ্যালগরিদম

Algorithm 1 ব্যবহার করে নির্দেশনা পরামিতি নমুনা করার সময় কঠিন সংঘর্ষ এড়ানো নিশ্চিত করে:

• জোড়া সীমাবদ্ধতা বাস্তবায়ন: নতুন নির্দেশনা যোগ করার সময় বিদ্যমান নির্দেশনার সাথে সীমাবদ্ধতা গণনা করে
• পরামিতি যাচাইকরণ: নতুন নির্দেশনা পরামিতি সমস্ত বিদ্যমান সীমাবদ্ধতা পূরণ করে তা নিশ্চিত করে
• সংঘর্ষ এড়ানো: যেমন keywords:existence এবং keywords:forbidden_words এর কীওয়ার্ড অবশ্যই বিচ্ছিন্ন হতে হবে

মূল্যায়ন মেট্রিক্স

• নির্দেশনা অনুসরণের হার (IF Rate): মডেল দ্বারা অনুসরণ করা নির্দেশনার সংখ্যা মোট নির্দেশনার সংখ্যার অনুপাত
• কাজের আনুগত্য: প্রতিক্রিয়া মূল প্রশ্নের সাথে প্রাসঙ্গিক কিনা
• সংঘর্ষ স্কোর: নির্দেশনা সেটের মধ্যে নরম সংঘর্ষের মাত্রা পরিমাণ করে

পরীক্ষামূলক মডেল

• Llama-3.3-70B-Instruct
• Llama-3.1-8B-Instruct
• Qwen2.5-72B-Instruct
• Mixtral-8x7B-Instruct-v0.1
• Mixtral-8x22B-Instruct-v0.1

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

বেসলাইন কর্মক্ষমতা

• २ টি নির্দেশনা: IF হার ০.५६ (Mixtral-8x7B) থেকে ०.८८ (Llama-70B)
• १० টি নির্দেশনা: IF হার ०.३९ (Mixtral-8x7B) থেকে ०.६६ (Llama-70B) এ হ্রাস পায়
• সমস্ত মডেল নির্দেশনার সংখ্যা বৃদ্ধির সাথে সাথে IF হার হ্রাসের প্রবণতা প্রদর্শন করে

বৃদ্ধি প্রভাব

• Best-of-N কৌশল সর্বোত্তম পারফরম্যান্স:
  • २ টি নির্দেশনা: সর্বোচ্চ ७ শতাংশ বৃদ্ধি (Mixtral-8x22B)
  • १० টি নির্দেশনা: সর্বোচ্চ ४ শতাংশ বৃদ্ধি (Llama-70B)
• Best-of-N Oracle সম্ভাব্যতার উপরের সীমা দেখায়:
  • २ টি নির্দেশনা: ८९% IF হার অর্জন করতে পারে (+२ শতাংশ)
  • १० টি নির্দেশনা: ७५% IF হার অর্জন করতে পারে (+८.५ শতাংশ)

খরচ-সুবিধা বিশ্লেষণ

• Detect+Repair: সর্বনিম্ন খরচ, কিন্তু সীমিত প্রভাব
• Best-of-N: খরচ এবং কর্মক্ষমতার মধ্যে ভাল ভারসাম্য অর্জন করে
• Map Reduce: সর্বোচ্চ খরচ, সীমিত কর্মক্ষমতা উন্নতি
• Best-of-N Gen: Best-of-N এর চেয়ে সামান্য কম খরচ, কিন্তু পুনর্লিখন নমুনার চেয়ে কম কার্যকর

সংঘর্ষ বিশ্লেষণ ফলাফল

নরম সংঘর্ষ স্কোরিং

নমুনা s এর সংঘর্ষ স্কোর গণনা করতে সূত্র ব্যবহার করে:

cs = Σ(i,j)∈p(s)×p(s),i≠j cij / |p(s)|

যেখানে cij হল নির্দেশনা i এবং j এর মধ্যে সংঘর্ষের গণনা।

মূল আবিষ্কার

१. সংঘর্ষ স্কোর এবং নির্দেশনার সংখ্যা ইতিবাচক সম্পর্ক:

• २ টি নির্দেশনা: গড় সংঘর্ষ স্কোর ०.२४
• १० টি নির্দেশনা: গড় সংঘর্ষ স্কোর २.०३

२. সংঘর্ষ স্কোর এবং IF হার নেতিবাচক সম্পর্ক:

• १० টি নির্দেশনায় সম্পর্ক সহগ -०.३७
• নির্দেশনার সংখ্যা বৃদ্ধির সাথে সাথে সম্পর্ক দুর্বল হয়

३. "কঠিন" নমুনা উচ্চতর সংঘর্ষ স্কোর রয়েছে: কম IF হার সহ নমুনা প্রকৃতপক্ষে উচ্চতর সংঘর্ষ স্কোর রয়েছে

কাজের আনুগত্য

• প্রাথমিক প্রতিক্রিয়া ব্যর্থতার হার: সর্বোচ্চ ४% (८ টি নির্দেশনায় २२/५३८)
• বৃদ্ধির পরে অতিরিক্ত ব্যর্থতা: সর্বোচ্চ १.३% (१० টি নির্দেশনায় ७টি অতিরিক্ত ব্যর্থতা)

সম্পর্কিত কাজ

নির্দেশনা অনুসরণ মূল্যায়ন

• IFEval: যাচাইযোগ্য নির্দেশনার নিশ্চিত পরীক্ষায় ফোকাস করে (१-३ টি নির্দেশনা)
• ComplexBench & FollowBench: জটিল নির্দেশনা প্রক্রিয়াকরণ ক্ষমতা মূল্যায়ন করে
• InFoBench: সূক্ষ্ম-দানাদার বিশ্লেষণের জন্য DRFR মেট্রিক প্রবর্তন করে
• RefuteBench: কথোপকথনে প্রতিবাদ নির্দেশনা অনুসরণে ফোকাস করে

পরীক্ষার সময় হস্তক্ষেপ পদ্ধতি

• স্ব-সংশোধন: নিজের আউটপুট মূল্যায়ন এবং উন্নত করতে মডেল প্রম্পট করে
• চিন্তার শৃঙ্খল: জটিল সমস্যাগুলি পরিচালনাযোগ্য পদক্ষেপে বিভক্ত করে
• স্ব-সামঞ্জস্য: একাধিক প্রতিক্রিয়া নমুনা করে সবচেয়ে সামঞ্জস্যপূর্ণ ফলাফল নির্বাচন করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. নির্দেশনা বৃদ্ধির কার্যকারিতা: বিভিন্ন মডেল জুড়ে ধারাবাহিকভাবে নির্দেশনা অনুসরণের হার বৃদ্ধি করে २. নরম সংঘর্ষ মূল কারণ: নির্দেশনার মধ্যে সংঘর্ষ বড় আকারের নির্দেশনা অনুসরণ কঠিন করার গুরুত্বপূর্ণ কারণ ३. পুনর্লিখন পুনঃজন্মের চেয়ে উত্তম: বিদ্যমান প্রতিক্রিয়া সংশোধন শুরু থেকে তৈরি করার চেয়ে আরও কার্যকর ४. সংঘর্ষ স্কোর পূর্বাভাসমূলক মূল্য রয়েছে: উন্নয়নকারীদের প্রতিক্রিয়া সরঞ্জাম হিসাবে কাজ করতে পারে

সীমাবদ্ধতা

१. জোড়া সংঘর্ষ সীমাবদ্ধতা: বর্তমান সংঘর্ষ স্কোর শুধুমাত্র জোড়া নির্দেশনা সংঘর্ষ বিবেচনা করে, বহু-নির্দেশনা জটিল মিথস্ক্রিয়া অন্তর্ভুক্ত করে না २. সনাক্তকারী নির্ভুলতা: LLM-as-a-judge সনাক্তকারী নির্ভুলতা মাত্র ७३%, যা বৃদ্ধি প্রভাব সীমিত করে ३. গণনা খরচ: বৃদ্ধি কৌশল অতিরিক্ত অনুমান খরচ প্রয়োজন ४. কাজের আনুগত্য ঝুঁকি: বৃদ্ধি প্রক্রিয়া প্রতিক্রিয়া মূল প্রশ্ন থেকে বিচ্যুত করতে পারে

ভবিষ্যত দিকনির্দেশনা

१. বহু-স্তরীয় সংঘর্ষ মডেলিং: তিন বা আরও বেশি নির্দেশনার জটিল সংঘর্ষ বিশ্লেষণে সম্প্রসারণ করে २. আরও নির্ভুল সনাক্তকারী: নির্দেশনা অনুসরণ সনাক্তকরণের জন্য আরও সঠিক পদ্ধতি বিকাশ করে ३. অভিযোজিত বৃদ্ধি: সংঘর্ষ স্কোরের উপর ভিত্তি করে গতিশীলভাবে বৃদ্ধি কৌশল নির্বাচন করে ४. প্রশিক্ষণ সময় অপ্টিমাইজেশন: নির্দেশনা অনুসরণ ক্ষমতা মডেল প্রশিক্ষণে একীভূত করে

গভীর মূল্যায়ন

সুবিধা

१. সমস্যা সংজ্ঞা স্পষ্ট: বড় আকারের নির্দেশনা অনুসরণের মূল চ্যালেঞ্জ সঠিকভাবে চিহ্নিত করে २. পদ্ধতিগত উদ্ভাবন: সিস্টেমেটিক পোস্ট-জেনারেশন বৃদ্ধি কাঠামো প্রস্তাব করে ३. পরীক্ষামূলক ডিজাইন কঠোর: উচ্চ মানের বড় আকারের নির্দেশনা বেঞ্চমার্ক ডেটাসেট নির্মাণ করে ४. তাত্ত্বিক অবদান: নরম সংঘর্ষ ধারণা এবং পরিমাণকরণ পদ্ধতি তাত্ত্বিক মূল্য রয়েছে ५. ব্যবহারিক শক্তি: একাধিক খরচ-সুবিধা ট্রেড-অফ কৌশল পছন্দ প্রদান করে

অপূর্ণতা

१. সংঘর্ষ মডেলিং সরলীকরণ: শুধুমাত্র জোড়া সংঘর্ষ বিবেচনা করে, জটিল বহু-নির্দেশনা মিথস্ক্রিয়া মিস করতে পারে २. সনাক্তকারী নির্ভরতা: পদ্ধতি প্রভাব LLM সনাক্তকারীর নির্ভুলতা দ্বারা সীমিত ३. মূল্যায়ন পরিসীমা সীমিত: প্রধানত ওপেন সোর্স মডেলে যাচাই করা, বন্ধ উৎস মডেলের মূল্যায়ন অভাব ४. দীর্ঘমেয়াদী প্রভাব অজানা: পুনরাবৃত্ত বৃদ্ধি মডেল আচরণে দীর্ঘমেয়াদী প্রভাব বিশ্লেষণ করা হয়নি

প্রভাব

१. একাডেমিক অবদান: নির্দেশনা অনুসরণ গবেষণার জন্য নতুন মূল্যায়ন বেঞ্চমার্ক এবং পদ্ধতি কাঠামো প্রদান করে २. ব্যবহারিক মূল্য: LLM অ্যাপ্লিকেশন উন্নয়নকারীদের জন্য নির্দেশনা নির্ভরযোগ্যতা বৃদ্ধির ব্যবহারিক সরঞ্জাম প্রদান করে ३. পুনরুৎপাদনযোগ্যতা: বিস্তারিত পদ্ধতি বর্ণনা এবং প্রম্পট টেমপ্লেট ফলাফল পুনরুৎপাদন সমর্থন করে ४. সম্প্রসারণ সম্ভাবনা: পদ্ধতি কাঠামো অন্যান্য ভাষা প্রজন্ম কাজে সম্প্রসারণযোগ্য

প্রযোজ্য পরিস্থিতি

१. বহু-সীমাবদ্ধতা প্রজন্ম কাজ: একাধিক বিন্যাস, বিষয়বস্তু, শৈলী সীমাবদ্ধতা একযোগে পূরণ করার প্রয়োজন এমন পরিস্থিতি २. উচ্চ নির্ভরযোগ্যতা অ্যাপ্লিকেশন: নির্দেশনা অনুসরণ নির্ভুলতার জন্য উচ্চ প্রয়োজনীয়তা সহ ব্যবসায়িক অ্যাপ্লিকেশন ३. প্রম্পট ইঞ্জিনিয়ারিং অপ্টিমাইজেশন: উন্নয়নকারীদের নির্দেশনা সংঘর্ষ সমস্যা চিহ্নিত এবং সমাধান করতে সাহায্য করে ४. মডেল মূল্যায়ন: LLM নির্দেশনা অনুসরণ ক্ষমতার জন্য মানক মূল্যায়ন সরঞ্জাম প্রদান করে

সংদর্ভ

পেপারটি নির্দেশনা অনুসরণ মূল্যায়ন, স্ব-সংশোধন, চিন্তার শৃঙ্খল যুক্তি এবং অন্যান্য সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে। মূল সংদর্ভ IFEval বেঞ্চমার্ক, স্ব-সংশোধন পদ্ধতি এবং সর্বশেষ নির্দেশনা অনুসরণ মূল্যায়ন কাজ অন্তর্ভুক্ত করে।