2025-11-17T12:28:12.099327

Robust Adversarial Reinforcement Learning in Stochastic Games via Sequence Modeling

Tang, Cheng, Kumar

The Transformer, a highly expressive architecture for sequence modeling, has recently been adapted to solve sequential decision-making, most notably through the Decision Transformer (DT), which learns policies by conditioning on desired returns. Yet, the adversarial robustness of reinforcement learning methods based on sequence modeling remains largely unexplored. Here we introduce the Conservative Adversarially Robust Decision Transformer (CART), to our knowledge the first framework designed to enhance the robustness of DT in adversarial stochastic games. We formulate the interaction between the protagonist and the adversary at each stage as a stage game, where the payoff is defined as the expected maximum value over subsequent states, thereby explicitly incorporating stochastic state transitions. By conditioning Transformer policies on the NashQ value derived from these stage games, CART generates policy that are simultaneously less exploitable (adversarially robust) and conservative to transition uncertainty. Empirically, CART achieves more accurate minimax value estimation and consistently attains superior worst-case returns across a range of adversarial stochastic games.

academic

স্টোকাস্টিক গেমে সিকোয়েন্স মডেলিংয়ের মাধ্যমে শক্তিশালী প্রতিকূল শক্তিবৃদ্ধি শিক্ষা

মৌলিক তথ্য

পেপার আইডি: 2510.11877
শিরোনাম: স্টোকাস্টিক গেমে সিকোয়েন্স মডেলিংয়ের মাধ্যমে শক্তিশালী প্রতিকূল শক্তিবৃদ্ধি শিক্ষা
লেখক: Xiaohang Tang (ইউনিভার্সিটি কলেজ লন্ডন), Zhuowen Cheng (স্বাধীন গবেষক), Satyabrat Kumar (ইউনিভার্সিটি কলেজ লন্ডন)
শ্রেণীবিভাগ: cs.LG cs.GT
প্রকাশনার সময়/সম্মেলন: নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমস সম্মেলন (NeurIPS 2025) ওয়ার্কশপ: নির্ভরযোগ্য মেশিন লার্নিং
পেপার লিঙ্ক: https://arxiv.org/abs/2510.11877

সারসংক্ষেপ

ট্রান্সফর্মার সিকোয়েন্স মডেলিংয়ের একটি উচ্চ প্রকাশনীয় স্থাপত্য হিসাবে, সম্প্রতি সিকোয়েন্স সিদ্ধান্ত গ্রহণের সমস্যা সমাধানের জন্য অভিযোজিত হয়েছে, যার মধ্যে সবচেয়ে বিখ্যাত হল ডিসিশন ট্রান্সফর্মার (DT), যা প্রত্যাশিত রিটার্নের শর্তাধীন করে কৌশল শিখে। তবে, সিকোয়েন্স মডেলিং-ভিত্তিক শক্তিবৃদ্ধি শিক্ষা পদ্ধতির প্রতিকূল শক্তিশালীতা অনেকাংশে অন্বেষণ করা হয়নি। এই পত্রটি কনজারভেটিভ অ্যাডভার্সারিয়ালি রোবাস্ট ডিসিশন ট্রান্সফর্মার (CART) উপস্থাপন করে, যা আমাদের জ্ঞান অনুযায়ী, প্রতিকূল স্টোকাস্টিক গেমে DT-এর শক্তিশালীতা বৃদ্ধির জন্য ডিজাইন করা প্রথম কাঠামো। আমরা প্রতিটি পর্যায়ে প্রধান খেলোয়াড় এবং প্রতিদ্বন্দ্বীর মধ্যে মিথস্ক্রিয়াকে পর্যায় গেম হিসাবে মডেল করি, যেখানে পেআউট পরবর্তী অবস্থার প্রত্যাশিত সর্বোচ্চ হিসাবে সংজ্ঞায়িত করা হয়, যা স্পষ্টভাবে স্টোকাস্টিক অবস্থা রূপান্তর অন্তর্ভুক্ত করে। এই পর্যায় গেমগুলি থেকে উদ্ভূত NashQ মানগুলিতে ট্রান্সফর্মার কৌশল শর্তাধীন করার মাধ্যমে, CART উত্পাদিত কৌশলগুলি কম ব্যবহারযোগ্যতা (প্রতিকূল শক্তিশালী) এবং রূপান্তর অনিশ্চয়তার প্রতি সংরক্ষণশীলতা উভয়ই রাখে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

এই গবেষণা যে মূল সমস্যাটি সমাধান করতে চায় তা হল স্টোকাস্টিক গেম পরিবেশে ডিসিশন ট্রান্সফর্মারের প্রতিকূল শক্তিশালীতা উন্নত করা। বিশেষভাবে:

ডিসিশন ট্রান্সফর্মারের দুর্বলতা: যদিও DT সিকোয়েন্স সিদ্ধান্ত গ্রহণের কাজে উৎকর্ষ লাভ করে, তবে প্রতিকূল পরিবেশে এটি সহজেই ব্যবহার করা যায়, কারণ এটি অনুকরণ শিক্ষার মাধ্যমে কৌশল শিখে, উচ্চ রিটার্ন কেবল প্রতিদ্বন্দ্বীর কৌশলের দুর্বলতার কারণে হতে পারে প্রকৃত শক্তিশালীতা নয়।
বিদ্যমান পদ্ধতির সীমাবদ্ধতা: অ্যাডভার্সারিয়ালি রোবাস্ট ডিসিশন ট্রান্সফর্মার (ARDT) মিনিম্যাক্স রিটার্নের শর্তাধীন করে এই সমস্যাটি হ্রাস করে, তবে এর প্রযোজ্যতা নির্ধারক অবস্থা রূপান্তরের প্রতিকূল শক্তিবৃদ্ধি শিক্ষায় সীমাবদ্ধ, স্টোকাস্টিক অবস্থা রূপান্তরের গেমে অত্যধিক আশাবাদী হতে পারে।
স্টোকাস্টিসিটি পরিচালনার চ্যালেঞ্জ: স্টোকাস্টিক গেমে, অবস্থা রূপান্তর প্রকৃতিগতভাবে সম্ভাব্য, ARDT কেবল মিনিম্যাক্স রিটার্নের শর্তাধীন করে রূপান্তর সম্ভাবনা উপেক্ষা করতে পারে, উচ্চ রিটার্ন সাব-গেম অ্যাক্সেসের সম্ভাবনা ভুল অনুমান করতে পারে।

গবেষণার গুরুত্ব

এই সমস্যার গুরুত্ব প্রকাশ পায়:

ব্যবহারিকতা: বাস্তব-বিশ্বের মাল্টি-এজেন্ট সিস্টেম প্রায়শই অনিশ্চয়তা এবং প্রতিকূলতা জড়িত
তাত্ত্বিক তাৎপর্য: সিকোয়েন্স মডেলিংয়ে প্রতিকূল শক্তিশালীতার গবেষণা ব্যবধান পূরণ করা
নিরাপত্তা: প্রতিকূল পরিবেশে AI সিস্টেমের নির্ভরযোগ্যতা উন্নত করা

মূল অবদান

স্টোকাস্টিক গেমের জন্য প্রথম শক্তিশালী ডিসিশন ট্রান্সফর্মার কাঠামো: CART প্রস্তাব করা হয়েছে, যা প্রতিকূল স্টোকাস্টিক গেমে DT-এর শক্তিশালীতা বৃদ্ধির জন্য বিশেষভাবে ডিজাইন করা প্রথম পদ্ধতি।
পর্যায় গেম মডেলিং: প্রতিটি সময় ধাপে প্রধান খেলোয়াড়-প্রতিদ্বন্দ্বী মিথস্ক্রিয়াকে পর্যায় গেম হিসাবে মডেল করা, পেআউট ফাংশন পরবর্তী অবস্থার প্রত্যাশিত সর্বোচ্চ হিসাবে সংজ্ঞায়িত করা, স্পষ্টভাবে স্টোকাস্টিক অবস্থা রূপান্তর বিবেচনা করা।
NashQ মান অনুমান অ্যালগরিদম: প্রত্যাশা রিগ্রেশন (Expectile Regression) এবং টেম্পোরাল ডিফারেন্স (TD) শিক্ষা একত্রিত করে সমস্ত পর্যায়ের সর্বোত্তম মিনিম্যাক্স Q মান সমাধান করা।
অভিজ্ঞতামূলক যাচাইকরণ: একাধিক সিন্থেটিক স্টোকাস্টিক গেমে CART-এর মিনিম্যাক্স মান অনুমান নির্ভুলতা এবং সর্বনিম্ন-কেস রিটার্নে উৎকর্ষতা যাচাই করা।

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

স্টোকাস্টিক গেম $(S,A,\bar{A},T,R)$ হিসাবে সংজ্ঞায়িত, যেখানে:

$S$ : অবস্থা স্থান
$A,\bar{A}$ : প্রধান খেলোয়াড় এবং প্রতিদ্বন্দ্বী কর্ম স্থান
$T$ : রূপান্তর সম্ভাবনা বিতরণ $s_{t+1} \sim T(\cdot|s_t,a_t,\bar{a}_t)$
$R$ : পুরস্কার ফাংশন

লক্ষ্য হল স্ব-অভিযোজিত প্রতিদ্বন্দ্বীর প্রতি শক্তিশালী প্রধান খেলোয়াড় কৌশল শিখা: $(\pi^*,\bar{\pi}^*) = \max_\pi \min_{\bar{\pi}} E_{\tau\sim\rho^{\pi,\bar{\pi}}}[\sum_t r_t]$

মডেল স্থাপত্য

1. পর্যায় গেম মডেলিং

প্রতিটি সময় ধাপে মিথস্ক্রিয়াকে পর্যায় গেম হিসাবে মডেল করা, যেখানে: $\bar{Q}(s,a,\bar{a}) = E_{s'\sim T(\cdot|s,a)}[r + V(s')]$ $V(s') = \max_{a'} Q(s',a')$

এখানে $V$ ফাংশন পরবর্তী পর্যায়ে অবস্থা $s'$ -এ সর্বোত্তম প্রধান খেলোয়াড় কর্ম সম্পাদনের প্রত্যাশিত মান প্রতিনিধিত্ব করে।

2. NashQ মান গণনা

সিকোয়েন্সিয়াল গেমের NashQ মান হিসাবে সংজ্ঞায়িত: $Q_{CART}(s,a) = \min_{\bar{a}} Q(s,a,\bar{a})$

3. ব্যবহারিক অ্যালগরিদম বাস্তবায়ন

সরাসরি min/max অপারেশন অদক্ষ হওয়ায়, প্রত্যাশা রিগ্রেশন ব্যবহার করে আনুমানিক করা হয়:

ধাপ 1: পর্যায় গেম পেআউট শিখা $L(\bar{Q}) = E_{(s,a,\bar{a},r,s')\sim D}[\bar{Q}(s,a,\bar{a}) - V(s') - r]$

ধাপ 2: NashQ মান অনুমান করা $L(Q) = E_{(s,a,\bar{a},r,s')\sim D}[L^{\alpha\to0}_{ER}(Q(s,a) - \bar{Q}(s,a,\bar{a}))]$

ধাপ 3: সর্বোত্তম অবস্থা মান ফাংশন আনুমানিক করা $L(V) = E_{(s',a')\sim D}[L^{\alpha\to1}_{ER}(V(s') - Q(s',a'))]$

যেখানে প্রত্যাশা রিগ্রেশন লক্ষ্য হিসাবে সংজ্ঞায়িত: $L^\alpha_{ER}(u) = E[u|\alpha - \mathbf{1}(u>0)| \cdot u^2]$

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

স্পষ্টভাবে স্টোকাস্টিসিটি পরিচালনা: একটি অতিরিক্ত অবস্থা মান ফাংশন $V$ প্রবর্তন করে, অবস্থা রূপান্তরের স্টোকাস্টিসিটি স্পষ্টভাবে বিবেচনা করা, ARDT-এর অত্যধিক আশাবাদ সমস্যা এড়ানো।
প্রত্যাশা রিগ্রেশন এবং TD শিক্ষা সংমিশ্রণ: উদ্ভাবনীভাবে প্রত্যাশা রিগ্রেশন ব্যবহার করে min/max অপারেশন আনুমানিক করা, ট্র্যাজেক্টরি ডেটায় শিক্ষা আরও দক্ষ করা।
সংরক্ষণশীলতা এবং শক্তিশালীতা ভারসাম্য: NashQ মানের শর্তাধীন করে, প্রতিকূল শক্তিশালীতা এবং রূপান্তর অনিশ্চয়তার প্রতি সংরক্ষণশীলতা উভয়ই রাখে এমন কৌশল উৎপাদন করা।

পরীক্ষা সেটআপ

ডেটাসেট

পরীক্ষা সিন্থেটিক স্টোকাস্টিক গেমে পরিচালিত হয়, যার মধ্যে রয়েছে:

দ্বি-পর্যায় স্টোকাস্টিক গেম: প্রধান ব্যাখ্যামূলক উদাহরণ
ত্রি-পর্যায় স্টোকাস্টিক গেম: আরও জটিল সিকোয়েন্সিয়াল মিথস্ক্রিয়া
5টি ভেরিয়েন্ট গেম: বিভিন্ন স্টোকাস্টিসিটি সেটিংসে শক্তিশালীতা পরীক্ষা করা

ডেটা সংগ্রহ সমান র্যান্ডম আচরণ নীতি ব্যবহার করে, $10^5$ ট্র্যাজেক্টরি অন্তর্ভুক্ত করে, সমস্ত সম্ভাব্য ট্র্যাজেক্টরি কভার করে।

মূল্যায়ন মেট্রিক্স

সর্বনিম্ন-কেস রিটার্ন: সর্বোত্তম প্রতিদ্বন্দ্বীর বিরুদ্ধে কৌশলের কর্মক্ষমতা
মিনিম্যাক্স মান অনুমান নির্ভুলতা: তাত্ত্বিক মানের সাথে বিচ্যুতি

তুলনা পদ্ধতি

ডিসিশন ট্রান্সফর্মার (DT): মূল সিদ্ধান্ত ট্রান্সফর্মার
অ্যাডভার্সারিয়ালি রোবাস্ট ডিসিশন ট্রান্সফর্মার (ARDT): বিদ্যমান প্রতিকূল শক্তিশালী পদ্ধতি

বাস্তবায়ন বিবরণ

পরীক্ষার সময় প্রতিদ্বন্দ্বী সর্বোত্তম কৌশল অনুমান করা হয়
উচ্চ লক্ষ্য রিটার্ন ব্যবহার করে ডিকোডিং
তিনটি ক্ষতি ফাংশন বিকল্পভাবে অপ্টিমাইজ করা সংমিশ্রণ পর্যন্ত

পরীক্ষার ফলাফল

প্রধান ফলাফল

দ্বি-পর্যায় স্টোকাস্টিক গেম ফলাফল

ব্যাখ্যামূলক দ্বি-পর্যায় স্টোকাস্টিক গেমে:

CART: 8.0 (সর্বনিম্ন-কেস রিটার্ন)
ARDT: 5.7
DT: 6.0

5টি গেম গড় কর্মক্ষমতা

5টি সিন্থেটিক প্রতিকূল স্টোকাস্টিক গেম জুড়ে গড় কর্মক্ষমতা:

CART: 8.115 ± সর্বনিম্ন বৈচিত্র্য
ARDT: 5.948
DT: 6.421

মূল আবিষ্কার

লক্ষ্য রিটার্ন সংবেদনশীলতা: CART বিভিন্ন লক্ষ্য রিটার্ন সেটিংসে সর্বোচ্চ সর্বনিম্ন-কেস রিটার্ন বজায় রাখে, যখন ARDT এবং DT প্রতিকূল আক্রমণে কম রিটার্ন পায়।
অত্যধিক আশাবাদ সমস্যা: ARDT বিরল উচ্চ রিটার্ন ট্র্যাজেক্টরি দ্বারা সহজেই বিভ্রান্ত হয়, কর্ম মান অতিমূল্যায়ন করে যখন প্রকৃত রূপান্তর সম্ভাবনা উপেক্ষা করে, উচ্চ লক্ষ্য রিটার্নে শক্তিশালীতা হারায়।
সংরক্ষণশীলতা সুবিধা: CART রিটার্ন এবং অবস্থা রূপান্তর স্টোকাস্টিসিটি যৌথভাবে বিবেচনা করে, সর্বনিম্ন-কেস প্রত্যাশিত রিটার্ন সর্বাধিক করতে পারে এমন সম্ভাব্য কৌশলে ফোকাস করে।

কেস বিশ্লেষণ

চিত্র 1 এর ব্যাখ্যামূলক উদাহরণে:

ARDT প্রত্যাশিত অবস্থা $s'_2$ অর্জনের ছোট সম্ভাবনা উপেক্ষা করে, অবস্থা এবং কর্ম মান অনুমানে অত্যধিক আশাবাদী
CART স্টোকাস্টিসিটি পরিচালনা করে প্রত্যাশিত সর্বোচ্চ বরাদ্দ করে, মান অনুমান আরও সংরক্ষণশীল এবং নির্ভুল

উপসংহার এবং আলোচনা

প্রধান উপসংহার

CART নিম্নলিখিত উপায়ে স্টোকাস্টিক গেমে DT-এর প্রতিকূল শক্তিশালীতা সমস্যা সফলভাবে সমাধান করে:

মিথস্ক্রিয়াকে পর্যায় গেম হিসাবে মডেল করা, স্পষ্টভাবে স্টোকাস্টিক রূপান্তর বিবেচনা করা
NashQ মানের শর্তাধীন ব্যবহার করে, শক্তিশালী এবং সংরক্ষণশীল উভয় কৌশল উৎপাদন করা
একাধিক স্টোকাস্টিক গেমে উৎকৃষ্ট সর্বনিম্ন-কেস কর্মক্ষমতা অর্জন করা

সীমাবদ্ধতা

পরীক্ষার স্কেল: বর্তমানে শুধুমাত্র স্বল্প সময়ের সিন্থেটিক গেমে যাচাই করা
গণনামূলক জটিলতা: তিনটি উদ্দেশ্য ফাংশন বিকল্পভাবে অপ্টিমাইজ করা গণনা ওভারহেড বৃদ্ধি করতে পারে
তাত্ত্বিক বিশ্লেষণ: সংমিশ্রণ এবং শক্তিশালীতার তাত্ত্বিক গ্যারান্টি অনুপস্থিত

ভবিষ্যত দিকনির্দেশনা

জটিল পরিবেশে সম্প্রসারণ: পোকার ভেরিয়েন্ট (Kuhn এবং Leduc পোকার) এর মতো আরও জটিল মাল্টি-এজেন্ট প্রতিযোগিতামূলক পরিবেশ অন্বেষণ করা
দীর্ঘমেয়াদী পরিকল্পনা: বৃহত্তর স্কেল গেম এবং দীর্ঘতর পরিকল্পনা সময়ের ক্ষেত্র অন্বেষণ করা
তাত্ত্বিক সম্পূর্ণতা: সংমিশ্রণ এবং শক্তিশালীতার তাত্ত্বিক বিশ্লেষণ প্রদান করা

গভীর মূল্যায়ন

শক্তি

শক্তিশালী উদ্ভাবনী: স্টোকাস্টিক গেমে প্রতিকূল শক্তিশালীতা প্রথমবারের মতো সিকোয়েন্স মডেলিংয়ে প্রবর্তন করা, গুরুত্বপূর্ণ গবেষণা ব্যবধান পূরণ করা
যুক্তিসঙ্গত পদ্ধতি: পর্যায় গেম মডেলিং এবং প্রত্যাশা রিগ্রেশনের সংমিশ্রণের মাধ্যমে, স্টোকাস্টিসিটি এবং প্রতিকূলতার দ্বৈত চ্যালেঞ্জ মার্জিতভাবে পরিচালনা করা
পর্যাপ্ত পরীক্ষা: যদিও সিন্থেটিক পরিবেশ, পদ্ধতির কার্যকারিতা যাচাই করতে একাধিক ভেরিয়েন্ট ডিজাইন করা
গুরুত্বপূর্ণ সমস্যা: সমাধান করা সমস্যা গুরুত্বপূর্ণ ব্যবহারিক মূল্য এবং তাত্ত্বিক তাৎপর্য রাখে

অপূর্ণতা

পরীক্ষার সীমাবদ্ধতা: শুধুমাত্র সহজ সিন্থেটিক পরিবেশে যাচাই করা, বাস্তব-বিশ্বের অ্যাপ্লিকেশন যাচাইকরণ অনুপস্থিত
তাত্ত্বিক অভাব: সংমিশ্রণ, জটিলতা এবং শক্তিশালীতার তাত্ত্বিক বিশ্লেষণ অনুপস্থিত
পদ্ধতি জটিলতা: একাধিক উদ্দেশ্য ফাংশন বিকল্পভাবে অপ্টিমাইজ করা প্রয়োজন, ব্যবহারিকতা প্রভাবিত করতে পারে
সীমিত তুলনা: শুধুমাত্র ARDT এবং DT-এর সাথে তুলনা, অন্যান্য শক্তিশালী শক্তিবৃদ্ধি শিক্ষা পদ্ধতির সাথে তুলনা অনুপস্থিত

প্রভাব

একাডেমিক অবদান: সিকোয়েন্স মডেলিংয়ের প্রতিকূল পরিবেশে প্রয়োগের জন্য নতুন দিকনির্দেশনা খোলা
ব্যবহারিক মূল্য: আরও শক্তিশালী মাল্টি-এজেন্ট সিস্টেম বিকাশের জন্য নতুন চিন্তাভাবনা প্রদান করা
পুনরুৎপাদনযোগ্যতা: পদ্ধতি বর্ণনা স্পষ্ট, পরীক্ষা সেটআপ সহজ, পুনরুৎপাদন সহজ

প্রযোজ্য পরিস্থিতি

মাল্টি-এজেন্ট সিস্টেম: প্রতিকূলতা এবং অনিশ্চয়তা সহ পরিবেশ
নিরাপত্তা-গুরুত্বপূর্ণ অ্যাপ্লিকেশন: সর্বনিম্ন-কেস কর্মক্ষমতা গ্যারান্টি প্রয়োজন এমন পরিস্থিতি
অফলাইন শিক্ষা: অনলাইন মিথস্ক্রিয়া সম্ভব নয় এমন পরিবেশ

সংদর্ভ

এই পত্রটি শক্তিবৃদ্ধি শিক্ষা, গেম তত্ত্ব এবং সিকোয়েন্স মডেলিং ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

Chen et al. (2021) - ডিসিশন ট্রান্সফর্মারের মূল কাজ
Tang et al. (2024a) - ARDT পদ্ধতি
Hu and Wellman (2003) - Nash Q-লার্নিং
Vaswani et al. (2017) - ট্রান্সফর্মার স্থাপত্য

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের গবেষণা পত্র যা একটি গুরুত্বপূর্ণ এবং চ্যালেঞ্জিং সমস্যা সমাধান করে। যদিও পরীক্ষা যাচাইকরণ এবং তাত্ত্বিক বিশ্লেষণে উন্নতির জায়গা রয়েছে, তবে এর উদ্ভাবনী এবং পদ্ধতির যুক্তিসঙ্গততা এটিকে এই ক্ষেত্রের একটি মূল্যবান অবদান করে তোলে।