ReZero: Boosting MCTS-based Algorithms by Backward-view and Entire-buffer Reanalyze
Xuan, Niu, Pu et al.
Monte Carlo Tree Search (MCTS)-based algorithms, such as MuZero and its derivatives, have achieved widespread success in various decision-making domains. These algorithms employ the reanalyze process to enhance sample efficiency from stale data, albeit at the expense of significant wall-clock time consumption. To address this issue, we propose a general approach named ReZero to boost tree search operations for MCTS-based algorithms. Specifically, drawing inspiration from the one-armed bandit model, we reanalyze training samples through a backward-view reuse technique which uses the value estimation of a certain child node to save the corresponding sub-tree search time. To further adapt to this design, we periodically reanalyze the entire buffer instead of frequently reanalyzing the mini-batch. The synergy of these two designs can significantly reduce the search cost and meanwhile guarantee or even improve performance, simplifying both data collecting and reanalyzing. Experiments conducted on Atari environments, DMControl suites and board games demonstrate that ReZero substantially improves training speed while maintaining high sample efficiency. The code is available as part of the LightZero MCTS benchmark at https://github.com/opendilab/LightZero.
academic
ReZero: পশ্চাদমুখী দৃষ্টিভঙ্গি এবং সম্পূর্ণ-বাফার পুনর্বিশ্লেষণের মাধ্যমে MCTS-ভিত্তিক অ্যালগরিদম বৃদ্ধি
মন্টে কার্লো ট্রি সার্চ (MCTS) ভিত্তিক অ্যালগরিদম, যেমন MuZero এবং এর উদ্ভূত অ্যালগরিদমগুলি, বিভিন্ন সিদ্ধান্ত গ্রহণের ক্ষেত্রে ব্যাপক সাফল্য অর্জন করেছে। এই অ্যালগরিদমগুলি পুরানো ডেটার নমুনা দক্ষতা উন্নত করতে পুনর্বিশ্লেষণ প্রক্রিয়া ব্যবহার করে, তবে উল্লেখযোগ্য ঘড়ির সময় খরচের মূল্যে। এই সমস্যার সমাধানের জন্য, এই পত্রটি MCTS অ্যালগরিদমের ট্রি সার্চ অপারেশন ত্বরান্বিত করার জন্য ReZero নামক একটি সর্বজনীন পদ্ধতি প্রস্তাব করে। বিশেষভাবে, একক-বাহু ব্যান্ডিট মডেল দ্বারা অনুপ্রাণিত হয়ে, পশ্চাদমুখী দৃষ্টিভঙ্গি পুনর্ব্যবহার কৌশলের মাধ্যমে প্রশিক্ষণ নমুনাগুলি পুনর্বিশ্লেষণ করা হয়, নির্দিষ্ট সাব-নোডের মূল্য অনুমান ব্যবহার করে সংশ্লিষ্ট সাব-ট্রির সার্চ সময় সাশ্রয় করা হয়। এই ডিজাইনের সাথে আরও খাপ খাইয়ে নিতে, ঘন ঘন ছোট ব্যাচ পুনর্বিশ্লেষণের পরিবর্তে সম্পূর্ণ বাফার পর্যায়ক্রমে পুনর্বিশ্লেষণ করার কৌশল গ্রহণ করা হয়। এই দুটি ডিজাইনের সহযোগী কর্ম সার্চ খরচ উল্লেখযোগ্যভাবে হ্রাস করে, যখন কর্মক্ষমতা নিশ্চিত করে এমনকি উন্নত করে।
এই পত্রটি বিদ্যমান পদ্ধতির সাথে অর্থোগোনাল একটি ত্বরণ কৌশল প্রস্তাব করার লক্ষ্য রাখে, যা অবস্থা স্পেস সংকোচনের প্রয়োজন নেই এবং অতিরিক্ত হার্ডওয়্যার ওভারহেড প্রবর্তন করে না, বরং মূল্য অনুমান দ্বারা সরাসরি সার্চ স্পেস হ্রাস করে।
পশ্চাদমুখী দৃষ্টিভঙ্গি পুনর্বিশ্লেষণ কৌশল প্রস্তাব: একক-বাহু ব্যান্ডিট মডেল দ্বারা অনুপ্রাণিত পদ্ধতির মাধ্যমে একক ট্রি সার্চ ত্বরান্বিত করা এবং সংমিশ্রণের জন্য তাত্ত্বিক গ্যারান্টি প্রদান করা
সম্পূর্ণ বাফার পুনর্বিশ্লেষণ কাঠামো ডিজাইন: MCTS কল সংখ্যা আরও হ্রাস করা এবং সমান্তরালকরণ ক্ষমতা বৃদ্ধি করা
সর্বজনীন কাঠামো: বিভিন্ন MCTS অ্যালগরিদমে নির্বিঘ্নে একীভূত করা যায়, অতিরিক্ত গণনা সম্পদের প্রয়োজন নেই
ব্যাপক পরীক্ষামূলক যাচাইকরণ: Atari পরিবেশ, DMControl স্যুট এবং বোর্ড গেমে পদ্ধতির কার্যকারিতা যাচাই করা
এই পত্রটি অধ্যয়ন করে কীভাবে MCTS অ্যালগরিদমের নমুনা দক্ষতা বজায় রেখে এর ঘড়ির সময় ওভারহেড উল্লেখযোগ্যভাবে হ্রাস করা যায়। ইনপুট হল MCTS অ্যালগরিদমের ট্র্যাজেক্টরি ডেটা, আউটপুট হল ত্বরান্বিত সার্চ নীতি এবং মূল্য অনুমান।
তাত্ত্বিক ভিত্তি: একক-বাহু ব্যান্ডিট মডেল দ্বারা অনুপ্রাণিত হয়ে, ট্রি সার্চের রুট নোডকে ব্যান্ডিট হিসাবে দেখা হয়, প্রতিটি সাব-নোড একটি বাহু হিসাবে কাজ করে। যদি কোনো সাব-নোডের প্রকৃত অবস্থা মূল্য আগে থেকে জানা যায়, তাহলে এর সার্চ সময় সাশ্রয় করা যায়।
নির্দিষ্ট বাস্তবায়ন:
সংলগ্ন সময় ধাপ S^t_l এবং S^{t+1}_l এর জন্য:
- S^{t+1}_l সার্চ করার সময়, রুট নোড মূল্য m^{t+1}_l পান
- S^t_l সার্চ করার সময়, S^{t+1}_l এর মূল্য m^{t+1}_l এ নির্ধারণ করুন
অ্যাকশন নির্বাচন কৌশল:
a_root = argmax_a I^t_l(a)
যেখানে I^t_l(a) = {
UCBscore(S^t_l, a), যদি a ≠ a^t_l
r^t_l + γm^{t+1}_l, যদি a = a^t_l
}
S^{t+1}_l এর সাথে সংশ্লিষ্ট অ্যাকশন নির্বাচন করার সময়, পূর্ব-সংরক্ষিত মূল্য সরাসরি ব্যবহার করা হয়, সাব-ট্রি সার্চ এড়ানো হয়।
ডিজাইন প্রেরণা: পশ্চাদমুখী দৃষ্টিভঙ্গি পুনর্বিশ্লেষণের জন্য ব্যাচগুলিকে ছোট সাব-ব্যাচে বিভক্ত করা প্রয়োজন, যা সমান্তরালকরণ সুবিধা হ্রাস করতে পারে।
সমাধান:
সংগ্রহ পর্যায় উন্নতি: নীতি নেটওয়ার্ক আউটপুট থেকে সরাসরি অ্যাকশন নমুনা করা, MCTS নির্বাচনের পরিবর্তে
পর্যায়ক্রমিক পুনর্বিশ্লেষণ: নির্দিষ্ট প্রশিক্ষণ পুনরাবৃত্তির পরে সম্পূর্ণ বাফার পুনর্বিশ্লেষণ করা, প্রতিটি পুনরাবৃত্তিতে ছোট ব্যাচ পুনর্বিশ্লেষণের পরিবর্তে
সুবিধা:
DQN এর নির্ধারিত লক্ষ্য নেটওয়ার্ক প্রক্রিয়ার মতো, নীতি লক্ষ্য আপডেট ফ্রিকোয়েন্সি হ্রাস করা
সমস্ত MCTS কল পুনর্বিশ্লেষণ প্রক্রিয়ায় কেন্দ্রীভূত করা, বড় ব্যাচ সমান্তরালকরণ সুবিধা সম্পূর্ণভাবে ব্যবহার করা
পুনর্বিশ্লেষণ এবং প্রশিক্ষণ প্রক্রিয়া বিচ্ছিন্ন করা, আরও বড় সমান্তরালকরণ স্থান প্রদান করা
উপপাদ্য 1: সমীকরণ (2) অনুমান পূরণকারী অ-স্থির ব্যান্ডিটের জন্য, UCB মান মূল্যায়নের পরিবর্তে নমুনা অনুমান ব্যবহার করে নির্দিষ্ট বাহু মূল্যায়ন করা নিশ্চিত করে যে ET_i(n)/n → 0 যখন n → ∞।
এই উপপাদ্য পশ্চাদমুখী দৃষ্টিভঙ্গি পুনর্বিশ্লেষণ পদ্ধতির সংমিশ্রণ প্রমাণ করে এবং নিম্ন অনুশোচনা উপরের সীমা রয়েছে, যা নির্দেশ করে যে অ্যালগরিদম সর্বোত্তম বাহুতে আরও কেন্দ্রীভূত পরিদর্শন বিতরণ উৎপাদন করতে পারে।
খেলনা কেস যাচাইকরণ: 7×7 গ্রিড বিশ্বে পরীক্ষা সাব-ট্রি সার্চ এড়ানোর ত্বরণ প্রভাব স্বজ্ঞাগতভাবে প্রদর্শন করে। টার্মিনাল পয়েন্ট থেকে যত দূরে অবস্থান, সার্চ সময় তত দীর্ঘ, রুট নোড মূল্য সহায়তা ব্যবহারের পরে সার্চ সময় সাধারণত হ্রাস পায়।
Schrittwieser, J., et al. (2019). Mastering Atari, Go, chess and shogi by planning with a learned model. Nature, 588, 604-609.
Silver, D., et al. (2017). Mastering chess and shogi by self-play with a general reinforcement learning algorithm. arXiv preprint arXiv:1712.01815.
Ye, W., et al. (2021). Mastering atari games with limited data. Advances in Neural Information Processing Systems, 34, 25476-25488.
Mei, Y., et al. (2023). Speedyzero: Mastering atari with limited data and time. ICLR 2023.
সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের গবেষণা পত্র যা MCTS অ্যালগরিদমের প্রকৃত স্থাপনা বাধার জন্য উদ্ভাবনী এবং ব্যবহারিক সমাধান প্রস্তাব করে। পদ্ধতি ডিজাইন চতুর, তাত্ত্বিক ভিত্তি শক্তিশালী, পরীক্ষামূলক যাচাইকরণ পর্যাপ্ত, MCTS অ্যালগরিদমকে প্রকৃত প্রয়োগে জনপ্রিয় করার জন্য গুরুত্বপূর্ণ মূল্য রয়েছে।