PIMAEX: সমবয়সী প্রণোদনার মাধ্যমে বহু-এজেন্ট অন্বেষণ

মৌলিক তথ্য

• পেপার আইডি: 2501.01266
• শিরোনাম: PIMAEX: Multi-Agent Exploration through Peer Incentivization
• লেখক: Michael Kölle, Johannes Tochtermann, Julian Schönberger, Gerhard Stenzel, Philipp Altmann, Claudia Linnhoff-Popien (LMU Munich)
• শ্রেণীবিভাগ: cs.MA (বহু-এজেন্ট সিস্টেম), cs.AI (কৃত্রিম বুদ্ধিমত্তা)
• প্রকাশনার সময়: ২০২৫ সালের ২ জানুয়ারি (arXiv প্রাক-প্রিন্ট)
• পেপার লিংক: https://arxiv.org/abs/2501.01266

সারসংক্ষেপ

যদিও একক-এজেন্ট শক্তিশালী শিক্ষায় অন্বেষণের সমস্যা ব্যাপকভাবে অধ্যয়ন করা হয়েছে, বহু-এজেন্ট শক্তিশালী শিক্ষায় অন্বেষণের সমস্যা তুলনামূলকভাবে কম মনোযোগ পেয়েছে। এই সমস্যা সমাধানের জন্য, এই পেপারটি সমবয়সী প্রণোদনার উপর ভিত্তি করে একটি পুরস্কার ফাংশন প্রস্তাব করে, যা অভ্যন্তরীণ কৌতূহল এবং প্রভাব-ভিত্তিক পুরস্কারের পূর্ববর্তী গবেষণা দ্বারা অনুপ্রাণিত। PIMAEX পুরস্কার (সমবয়সী-প্রণোদিত বহু-এজেন্ট অন্বেষণের সংক্ষিপ্ত রূপ) এজেন্টদের একে অপরের উপর প্রভাব ফেলতে উৎসাহিত করে নতুন অবস্থার সম্মুখীন হওয়ার সম্ভাবনা বৃদ্ধি করার জন্য ডিজাইন করা হয়েছে, যা বহু-এজেন্ট পরিবেশে অন্বেষণ উন্নত করে। গবেষণা Consume/Explore পরিবেশে PIMAEX পুরস্কার এবং PIMAEX-Communication অ্যালগরিদমের সমন্বয়ের প্রভাব মূল্যায়ন করে, যা একটি প্রতারণামূলক পুরস্কার সহ আংশিকভাবে পর্যবেক্ষণযোগ্য পরিবেশ যা অন্বেষণ বনাম শোষণ দ্বিধা এবং ক্রেডিট বরাদ্দ সমস্যা চ্যালেঞ্জ করার জন্য বিশেষভাবে ডিজাইন করা হয়েছে। পরীক্ষামূলক ফলাফল দেখায় যে PIMAEX পুরস্কার ব্যবহারকারী এজেন্টরা এটি ব্যবহার না করা এজেন্টদের চেয়ে ভাল পারফরম্যান্স করে।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

1. বহু-এজেন্ট অন্বেষণ চ্যালেঞ্জ: বহু-এজেন্ট শক্তিশালী শিক্ষায় অন্বেষণের সমস্যা একক-এজেন্টের চেয়ে অনেক বেশি কঠিন, কারণ যৌথ অবস্থার স্থান এজেন্টের সংখ্যার সাথে সূচকীয়ভাবে বৃদ্ধি পায়
2. সমন্বয় প্রয়োজনীয়তা: অবস্থা রূপান্তর সম্ভাবনা সমস্ত এজেন্টের যৌথ কর্মের উপর নির্ভর করে বলে, একক এজেন্ট স্বাধীনভাবে অবস্থার স্থানের গুরুত্বপূর্ণ অংশ অন্বেষণ করতে পারে না
3. বিরল এবং প্রতারণামূলক পুরস্কার: বিরল বা প্রতারণামূলক পুরস্কার সহ পরিবেশে, এজেন্টরা স্থানীয় সর্বোত্তমে আটকে যায়
4. ক্রেডিট বরাদ্দ সমস্যা: দীর্ঘ ক্রম কর্ম এবং চূড়ান্ত পুরস্কারের মধ্যে সময়ের দূরত্ব ক্রেডিট বরাদ্দকে কঠিন করে তোলে

গবেষণার গুরুত্ব

• বহু-এজেন্ট সিস্টেম বাস্তব-বিশ্ব অ্যাপ্লিকেশনে ক্রমবর্ধমান গুরুত্বপূর্ণ (যেমন স্বয়ংচালিত গাড়ি, রোবোট সহযোগিতা ইত্যাদি)
• কার্যকর বহু-এজেন্ট অন্বেষণ জটিল সহযোগিতামূলক কাজ অর্জনের চাবিকাঠি
• বিদ্যমান পদ্ধতি প্রধানত সমন্বয় এবং সহযোগিতার উপর দৃষ্টি নিবদ্ধ করে, অন্বেষণ সমস্যা সমাধানে নয়

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

• একক-এজেন্ট অন্বেষণ পদ্ধতি (যেমন ε-লোভী কৌশল) বহু-এজেন্ট পরিবেশে সীমিত কার্যকারিতা প্রদর্শন করে
• অভ্যন্তরীণ কৌতূহল-ভিত্তিক পদ্ধতি প্রধানত একক-এজেন্ট ডিজাইনের জন্য
• প্রভাব পুরস্কার প্রধানত সমন্বয় উন্নত করার জন্য ব্যবহৃত হয়, অন্বেষণ প্রচার নয়

মূল অবদান

1. PIMAEX পুরস্কার ফাংশন প্রস্তাব: একটি উপন্যাস সমবয়সী প্রণোদনা প্রক্রিয়া যা অভ্যন্তরীণ কৌতূহল এবং সামাজিক প্রভাব একত্রিত করে বহু-এজেন্ট অন্বেষণ প্রচার করে
2. সাধারণীকৃত সামাজিক প্রভাব পুরস্কার কাঠামো নির্মাণ: পূর্ববর্তী কাজে প্রভাব পুরস্কার ধারণা একীভূত করে, α, β, γ তিনটি পদের ওজনযুক্ত সমন্বয় অন্তর্ভুক্ত করে
3. PIMAEX-Communication অ্যালগরিদম ডিজাইন: যোগাযোগ প্রক্রিয়ার উপর ভিত্তি করে বহু-এজেন্ট প্রশিক্ষণ অ্যালগরিদম, যেকোনো actor-critic অ্যালগরিদমের সাথে সংযুক্ত হতে পারে
4. Consume/Explore পরিবেশ উন্নয়ন: অন্বেষণ বনাম শোষণ দ্বিধা এবং ক্রেডিট বরাদ্দ সমস্যা মূল্যায়নের জন্য বিশেষভাবে ডিজাইন করা পরীক্ষা পরিবেশ
5. অভিজ্ঞতামূলক যাচাইকরণ: চ্যালেঞ্জিং পরিবেশে PIMAEX পদ্ধতির কার্যকারিতা প্রমাণ করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

গবেষণা আংশিকভাবে পর্যবেক্ষণযোগ্য বহু-এজেন্ট পরিবেশের জন্য লক্ষ্য করে, যেখানে:

• এজেন্টদের অন্বেষণ এবং শোষণের মধ্যে ভারসাম্য খুঁজে পেতে হবে
• পরিবেশ বিরল বা প্রতারণামূলক পুরস্কার রয়েছে
• অবস্থার স্থান কার্যকরভাবে অন্বেষণ করতে এজেন্ট-মধ্যে সমন্বয় প্রয়োজন
• দীর্ঘমেয়াদী ক্রেডিট বরাদ্দ সমস্যা বিদ্যমান

মডেল স্থাপত্য

1. সাধারণীকৃত সামাজিক প্রভাব পুরস্কার ফাংশন

এজেন্ট j এর সাধারণীকৃত প্রভাব পুরস্কার সংজ্ঞায়িত করা হয়:

r_j = Σ_{k≠j} [α·PI^α_{j→k} + β·PI^β_{j→k}·r^w_k + γ·VI^w_{j→k}]

যেখানে:

• α পদ: নীতি প্রভাবের উপর ভিত্তি করে সরাসরি পুরস্কার (Jaques et al., 2018 এর অনুরূপ)
• β পদ: এই পেপারের মূল উদ্ভাবন, প্রভাব এবং প্রভাবিত এজেন্টের পুরস্কারের পণ্যের উপর ভিত্তি করে
• γ পদ: মূল্য প্রভাবের উপর ভিত্তি করে দীর্ঘমেয়াদী পুরস্কার (Wang et al., 2019 এর অনুরূপ)

2. নীতি প্রভাব এবং মূল্য প্রভাব

নীতি প্রভাব KL বিচ্যুতি বা PMI ব্যবহার করে পরিমাপ করা হয়:

PI^DKL_{j→i} = D_KL[π^info_i || π^marginal_{j→i}]
PI^PMI_{j→i} = log(p(a_i|o_i, info_{j→i})/p(a_i|o_i))

মূল্য প্রভাব সংজ্ঞায়িত করা হয়:

VI_{j→i} = V^info_i - V^marginal_{j→i}

3. PIMAEX পুরস্কার

PIMAEX পুরস্কার বাহ্যিক এবং অভ্যন্তরীণ পুরস্কার একত্রিত করে:

r^w_k = β_env·r^env_k + β_int·r^int_k
VI^w_{j→k} = γ_env·VI^env_{j→k} + γ_int·VI^int_{j→k}

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

1. β পদের উদ্ভাবন: প্রথমবারের মতো প্রভাব এবং প্রভাবিত এজেন্টের পুরস্কারের পণ্যের উপর ভিত্তি করে প্রণোদনা প্রক্রিয়া প্রস্তাব করা হয়েছে
2. বিপরীত-তথ্যমূলক যুক্তি: বিপরীত-তথ্যমূলক বার্তা নমুনা মাধ্যমে প্রান্তিক নীতি এবং মূল্য ফাংশন গণনা করা হয়
3. যোগাযোগ প্রক্রিয়া: বিচ্ছিন্ন বার্তা চ্যানেল এজেন্টদের একে অপরকে প্রভাবিত করতে সক্ষম করে
4. অভ্যন্তরীণ কৌতূহল একীকরণ: RND (Random Network Distillation) সামাজিক প্রভাবের সাথে একত্রিত করা হয়

পরীক্ষামূলক সেটআপ

Consume/Explore পরিবেশ

পরিবেশের বৈশিষ্ট্য:

• 4 টি এজেন্টের আংশিকভাবে পর্যবেক্ষণযোগ্য পরিবেশ
• প্রতিটি এজেন্টের একটি ব্যক্তিগত উৎপাদন লাইন রয়েছে যা প্রতি M ধাপে C ভোগ্য পণ্য উৎপাদন করে
• তিন ধরনের কর্ম: কোন কর্ম নয়, ভোগ, অন্বেষণ
• অন্বেষণ কর্ম সমস্ত এজেন্টের উৎপাদন হার বৃদ্ধি করতে পারে, কিন্তু তাৎক্ষণিক পুরস্কার নেই

মূল পরামিতি:

• সম্মিলিত অন্বেষণ থ্রেশহোল্ড E = 0.5 (সাফল্য নিশ্চিত করতে কমপক্ষে 2 টি এজেন্ট একযোগে অন্বেষণ করতে হবে)
• পরবর্তী উৎপাদন স্তরে পৌঁছাতে c_max = 2000 সফল অন্বেষণ প্রয়োজন
• সর্বাধিক উৎপাদন স্তর C_max = 5

পর্যবেক্ষণ স্থান: 5-মাত্রিক ভেক্টর

• ব্যক্তিগত তথ্য: বর্তমান সরবরাহ, গুদাম স্থান, পরবর্তী উৎপাদন সময়
• বৈশ্বিক তথ্য: বর্তমান উৎপাদন স্তর, সফল অন্বেষণ সংখ্যা

মূল্যায়ন মেট্রিক্স

1. যৌথ রিটার্ন: সমস্ত এজেন্টের মোট রিটার্ন
2. ব্যক্তিগত রিটার্ন পার্থক্য: শ্রম বিভাজনের ডিগ্রি প্রতিফলিত করে
3. অবস্থা স্থান কভারেজ: সরাসরি অন্বেষণ পরিমাপ
4. কর্ম পরিসংখ্যান: ভোগ/অন্বেষণ কর্মের শতাংশ এবং একযোগে কর্মের সংখ্যা
5. উৎপাদন স্তর: চূড়ান্ত অর্জিত উৎপাদন স্তর এবং প্রতিটি স্তরে পৌঁছাতে প্রয়োজনীয় পদক্ষেপ

তুলনামূলক পদ্ধতি

1. Vanilla PPO: মৌলিক PPO এজেন্ট
2. PPO+RND: র্যান্ডম নেটওয়ার্ক ডিস্টিলেশন সহ অভ্যন্তরীণ কৌতূহল এজেন্ট
3. একক-পদ PIMAEX এজেন্ট: শুধুমাত্র α, β বা γ পদ ব্যবহারকারী এজেন্ট

বাস্তবায়ন বিবরণ

• DeepMind এর acme লাইব্রেরি এবং JAX ফ্রেমওয়ার্ক ভিত্তিক
• প্রশিক্ষণ পদক্ষেপ: 1e7
• ব্যাচ আকার: 16, আনফোল্ড দৈর্ঘ্য: 128
• শেখার হার: 1e-4, ছাড় ফ্যাক্টর: 0.999
• প্রতিটি মডেল 3 টি র্যান্ডম বীজ দিয়ে প্রশিক্ষিত

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

1. সামগ্রিক পারফরম্যান্স:
   • PIMAEX β এজেন্ট সর্বোত্তম পারফরম্যান্স করে, PPO+RND এবং vanilla PPO থেকে উল্লেখযোগ্যভাবে ভাল
   • সমস্ত PIMAEX ভেরিয়েন্ট মৌলিক পদ্ধতির চেয়ে ভাল
   • PIMAEX β সর্বনিম্ন মান বিচ্যুতি দেখায়, আরও স্থিতিশীল নীতি নির্দেশ করে
2. অন্বেষণ আচরণ:
   • PIMAEX α এজেন্ট সবচেয়ে সক্রিয় অন্বেষক
   • PIMAEX β এজেন্ট স্পষ্ট কাজ বিভাজন প্রদর্শন করে: এজেন্ট 1 এবং 3 অন্বেষণে ফোকাস করে, এজেন্ট 2 এবং 4 প্রধানত ভোগ করে
   • সমস্ত পদ্ধতি জোড়া সমন্বয় অন্বেষণ অর্জন করতে পারে (episode এর প্রায় 1/3 সময়)
3. অবস্থা স্থান কভারেজ:
   • চূড়ান্ত অন্বেষণ অবস্থা স্থান কভারেজে পদ্ধতিগুলির মধ্যে পার্থক্য তুলনামূলকভাবে ছোট
   • PIMAEX α episode এর মধ্যে অন্বেষণ কভারেজে সর্বোত্তম পারফরম্যান্স করে
   • PIMAEX β এজেন্ট অবস্থা স্থান কভারেজের মান বিচ্যুতিতে সর্বনিম্ন

বিলোপন পরীক্ষা

একক-পদ বিশ্লেষণ:

• α পদ (বিশুদ্ধ প্রভাব পুরস্কার): সবচেয়ে বেশি অন্বেষণ আচরণ প্রচার করে
• β পদ (প্রভাব × পুরস্কার): সর্বোচ্চ মোট রিটার্ন এবং সবচেয়ে স্থিতিশীল নীতি অর্জন করে
• γ পদ (মূল্য প্রভাব): α এবং β এর মধ্যে মধ্যবর্তী পারফরম্যান্স

মূল আবিষ্কার

1. অপ্রত্যাশিত অন্তর্দৃষ্টি: অন্যান্য এজেন্টের অভ্যন্তরীণ রিটার্নে অংশগ্রহণ অপরিহার্যভাবে আরও অন্বেষণের দিকে পরিচালিত করে না
2. কাজ বিভাজন: PIMAEX β স্বাভাবিকভাবে অন্বেষক এবং শোষকদের মধ্যে বিভাজন গঠন করে
3. স্থিতিশীলতা: β পদ উল্লেখযোগ্যভাবে নীতির স্থিতিশীলতা বৃদ্ধি করে (কম মান বিচ্যুতি)
4. সমন্বয় প্যাটার্ন: এজেন্টরা প্রধানত জোড়া পদ্ধতিতে সমন্বয় করে, বৃহত্তর দল নয়

সম্পর্কিত কাজ

অভ্যন্তরীণ প্রেরণা এবং কৌতূহল

• গণনা-ভিত্তিক অন্বেষণ: অবস্থা পরিদর্শন গণনার মাধ্যমে নতুনত্ব পরিমাপ করা
• পূর্বাভাস ত্রুটি পদ্ধতি: শেখা মডেলের পূর্বাভাস ত্রুটির উপর ভিত্তি করে পুরস্কার
• র্যান্ডম নেটওয়ার্ক ডিস্টিলেশন (RND): "শব্দ টেলিভিশন সমস্যা" এড়াতে র্যান্ডম নেটওয়ার্ক ব্যবহার করা

বহু-এজেন্ট সমন্বয় এবং সহযোগিতা

• CTDE পদ্ধতি: কেন্দ্রীভূত প্রশিক্ষণ বিকেন্দ্রীভূত সম্পাদনের কাঠামো
• যোগাযোগ প্রক্রিয়া: এজেন্ট-মধ্যে তথ্য বিনিময় সমন্বয় উন্নত করে
• বিপরীত-তথ্যমূলক যুক্তি: ব্যক্তিগত এজেন্ট অবদান নির্ধারণ করা

সামাজিক প্রভাব

• Jaques et al. (2018): বিপরীত-তথ্যমূলক যুক্তির উপর ভিত্তি করে প্রভাব পুরস্কার
• Wang et al. (2019): EITI এবং EDTI পদ্ধতি, মিথস্ক্রিয়া মূল্য ধারণা প্রবর্তন করা

সিদ্ধান্ত এবং আলোচনা

প্রধান সিদ্ধান্ত

1. PIMAEX কার্যকারিতা: PIMAEX পুরস্কার বহু-এজেন্ট অন্বেষণ পারফরম্যান্স উল্লেখযোগ্যভাবে উন্নত করে
2. β পদের উদ্ভাবন: নতুন প্রস্তাবিত β পদ সর্বোচ্চ মোট রিটার্ন এবং সবচেয়ে স্থিতিশীল নীতি অর্জন করে
3. স্বাভাবিক বিভাজন: PIMAEX β এজেন্ট-মধ্যে স্বাভাবিক কাজ বিভাজন প্রচার করে
4. অন্বেষণ প্যারাডক্স: ব্যক্তিগত অভ্যন্তরীণ কৌতূহল প্রভাব পুরস্কারের সাথে মিলিত হয়ে ভাগ করা অভ্যন্তরীণ রিটার্নের চেয়ে আরও কার্যকর হতে পারে

সীমাবদ্ধতা

1. নেটওয়ার্ক স্থাপত্য সীমাবদ্ধতা: শুধুমাত্র তুলনামূলকভাবে সহজ ফিডফরওয়ার্ড নেটওয়ার্ক ব্যবহার করা হয়েছে, আরও জটিল স্থাপত্য পরীক্ষা করা হয়নি
2. অ্যালগরিদম সীমাবদ্ধতা: শুধুমাত্র PPO এ মূল্যায়ন করা হয়েছে, অন্যান্য actor-critic পদ্ধতি পরীক্ষা করা হয়নি
3. প্রশিক্ষণ সময়কাল: তুলনামূলকভাবে সংক্ষিপ্ত প্রশিক্ষণ সময় সিদ্ধান্তকে প্রভাবিত করতে পারে
4. পরিবেশ জটিলতা: শুধুমাত্র একক কাজের ছোট অবস্থা-কর্ম স্থানে মূল্যায়ন করা হয়েছে
5. মাপযোগ্যতা: আরও এজেন্ট সংখ্যার অধীনে পারফরম্যান্স পরীক্ষা করা হয়নি

ভবিষ্যত দিকনির্দেশনা

1. আরও জটিল স্থাপত্য: পুনরাবৃত্তিমূলক স্নায়ু নেটওয়ার্কের মতো আরও শক্তিশালী মডেল পরীক্ষা করা
2. বৈচিত্র্যময় অ্যালগরিদম: IMPALA এর মতো অন্যান্য অ্যালগরিদমের সাথে সমন্বয় মূল্যায়ন করা
3. জটিল পরিবেশ: বৃহত্তর অবস্থা স্থান এবং আরও জটিল কাজে যাচাই করা
4. মাপযোগ্যতা গবেষণা: আরও এজেন্ট পরিস্থিতিতে পারফরম্যান্স পরীক্ষা করা
5. তাত্ত্বিক বিশ্লেষণ: আরও গভীর তাত্ত্বিক ভিত্তি এবং সংমিশ্রণ বিশ্লেষণ প্রদান করা

গভীর মূল্যায়ন

সুবিধা

1. সমস্যার গুরুত্ব: বহু-এজেন্ট শক্তিশালী শিক্ষায় উপেক্ষা করা কিন্তু গুরুত্বপূর্ণ অন্বেষণ সমস্যা সমাধান করে
2. পদ্ধতি উদ্ভাবন: β পদের প্রস্তাব মূল, একীভূত কাঠামো পূর্ববর্তী কাজ একীভূত করে
3. পরীক্ষামূলক ডিজাইন: Consume/Explore পরিবেশ ডিজাইন চতুর, লক্ষ্য সমস্যা কার্যকরভাবে পরীক্ষা করে
4. অভিজ্ঞতামূলক সম্পূর্ণতা: বহু-কোণ মূল্যায়ন মেট্রিক্স ব্যাপক পারফরম্যান্স বিশ্লেষণ প্রদান করে
5. অপ্রত্যাশিত আবিষ্কার: ব্যক্তিগত কৌতূহল বনাম ভাগ করা রিটার্ন সম্পর্কে অন্তর্দৃষ্টি অনুপ্রেরণাদায়ক

অপূর্ণতা

1. তাত্ত্বিক ভিত্তি: β পদ কেন কার্যকর তার জন্য তাত্ত্বিক ব্যাখ্যার অভাব
2. পরিবেশ সীমাবদ্ধতা: শুধুমাত্র একক স্ব-ডিজাইন করা পরিবেশে যাচাই করা হয়েছে, সাধারণীকরণ সন্দেহজনক
3. গণনা ওভারহেড: বিপরীত-তথ্যমূলক যুক্তি উল্লেখযোগ্য গণনা খরচ যোগ করে, কিন্তু পর্যাপ্তভাবে আলোচনা করা হয়নি
4. হাইপারপ্যারামিটার সংবেদনশীলতা: α, β, γ ওজনের প্রতি সংবেদনশীলতা গভীরভাবে বিশ্লেষণ করা হয়নি
5. দীর্ঘমেয়াদী আচরণ: দীর্ঘতর প্রশিক্ষণের পরে আচরণ পরিবর্তন বিশ্লেষণ করা হয়নি

প্রভাব

1. একাডেমিক অবদান: বহু-এজেন্ট অন্বেষণের জন্য নতুন গবেষণা দিকনির্দেশনা প্রদান করে
2. ব্যবহারিক মূল্য: পদ্ধতি তুলনামূলকভাবে বাস্তবায়ন করা সহজ, বিদ্যমান অ্যালগরিদমের সাথে একত্রিত হতে পারে
3. পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং হাইপারপ্যারামিটার সেটিং প্রদান করে
4. অনুপ্রেরণামূলক: β পদের ডিজাইন চিন্তাভাবনা অন্যান্য পুরস্কার ডিজাইনকে অনুপ্রাণিত করতে পারে

প্রযোজ্য পরিস্থিতি

1. সহযোগিতামূলক অন্বেষণ কাজ: বহু-এজেন্ট সমন্বিত অন্বেষণ প্রয়োজন এমন পরিবেশ
2. বিরল পুরস্কার পরিবেশ: বিলম্বিত বা প্রতারণামূলক পুরস্কার সহ কাজ
3. আংশিকভাবে পর্যবেক্ষণযোগ্য পরিবেশ: অসম্পূর্ণ তথ্য সহ বহু-এজেন্ট সিস্টেম
4. যোগাযোগ-সীমিত পরিস্থিতি: বিচ্ছিন্ন বার্তার মাধ্যমে সীমিত যোগাযোগ সম্ভব এমন সিস্টেম

সংদর্ভ

এই পেপারটি প্রধানত নিম্নলিখিত গুরুত্বপূর্ণ কাজের উপর ভিত্তি করে:

1. Jaques et al. (2018) - বহু-এজেন্ট গভীর শক্তিশালী শিক্ষায় অভ্যন্তরীণ প্রেরণা হিসাবে সামাজিক প্রভাব
2. Wang et al. (2019) - প্রভাব-ভিত্তিক বহু-এজেন্ট অন্বেষণ
3. Burda et al. (2018) - র্যান্ডম নেটওয়ার্ক ডিস্টিলেশন অন্বেষণ পদ্ধতি
4. Pathak et al. (2017) - কৌতূহল-চালিত স্ব-তত্ত্বাবধানী পূর্বাভাস অন্বেষণ

সামগ্রিক মূল্যায়ন: এটি বহু-এজেন্ট শক্তিশালী শিক্ষা অন্বেষণ ক্ষেত্রে উদ্ভাবনী কাজ। যদিও কিছু সীমাবদ্ধতা রয়েছে, β পদের প্রস্তাব এবং অভিজ্ঞতামূলক যাচাইকরণ এই ক্ষেত্রে মূল্যবান অবদান প্রদান করে। ভবিষ্যত কাজ আরও জটিল পরিবেশে পদ্ধতির সাধারণীকরণ ক্ষমতা যাচাই করতে প্রয়োজন।