2025-11-21T07:37:22.920666

Edge Delayed Deep Deterministic Policy Gradient: efficient continuous control for edge scenarios

Sinigaglia, Turcato, Carli et al.
Deep Reinforcement Learning is gaining increasing attention thanks to its capability to learn complex policies in high-dimensional settings. Recent advancements utilize a dual-network architecture to learn optimal policies through the Q-learning algorithm. However, this approach has notable drawbacks, such as an overestimation bias that can disrupt the learning process and degrade the performance of the resulting policy. To address this, novel algorithms have been developed that mitigate overestimation bias by employing multiple Q-functions. Edge scenarios, which prioritize privacy, have recently gained prominence. In these settings, limited computational resources pose a significant challenge for complex Machine Learning approaches, making the efficiency of algorithms crucial for their performance. In this work, we introduce a novel Reinforcement Learning algorithm tailored for edge scenarios, called Edge Delayed Deep Deterministic Policy Gradient (EdgeD3). EdgeD3 enhances the Deep Deterministic Policy Gradient (DDPG) algorithm, achieving significantly improved performance with $25\%$ less Graphics Process Unit (GPU) time while maintaining the same memory usage. Additionally, EdgeD3 consistently matches or surpasses the performance of state-of-the-art methods across various benchmarks, all while using $30\%$ fewer computational resources and requiring $30\%$ less memory.
academic

এজ ডিলেইড ডিপ ডিটারমিনিস্টিক পলিসি গ্র্যাডিয়েন্ট: এজ পরিস্থিতির জন্য দক্ষ ক্রমাগত নিয়ন্ত্রণ

মৌলিক তথ্য

  • পেপার আইডি: 2412.06390
  • শিরোনাম: Edge Delayed Deep Deterministic Policy Gradient: efficient continuous control for edge scenarios
  • লেখক: Alberto Sinigaglia, Niccolò Turcato, Carli Ruggero, Gian Antonio Susto
  • শ্রেণীবিভাগ: cs.LG cs.AI
  • প্রকাশিত জার্নাল: IEEE Transactions on Automation Science and Engineering
  • পেপার লিঙ্ক: https://arxiv.org/abs/2412.06390

সারসংক্ষেপ

গভীর শক্তিশালী শিক্ষা (DRL) উচ্চ-মাত্রিক ইনপুট স্থানে জটিল নীতি শিখার ক্ষমতার জন্য ব্যাপক মনোযোগ আকর্ষণ করেছে। আধুনিক DRL অ্যালগরিদম সাধারণত অতিমূল্যায়ন পক্ষপাত অতিক্রম করার জন্য সর্বোত্তম নীতি অনুমান করতে দ্বৈত-নেটওয়ার্ক Q-লার্নিং আর্কিটেকচার ব্যবহার করে। তবে, এজ কম্পিউটিং পরিস্থিতির উত্থানের সাথে, গোপনীয়তা উদ্বেগ এবং কঠোর হার্ডওয়্যার সীমাবদ্ধতা দক্ষ অ্যালগরিদম প্রয়োজন। এই পেপারটি Edge Delayed Deep Deterministic Policy Gradient (EdgeD3) প্রস্তাব করে, যা এজ কম্পিউটিং পরিবেশের জন্য বিশেষভাবে ডিজাইন করা একটি নতুন শক্তিশালী শিক্ষা অ্যালগরিদম। EdgeD3 GPU সময় উল্লেখযোগ্যভাবে হ্রাস করে (25%) এবং গণনা মেমরি ব্যবহার (30%) হ্রাস করে, একই সাথে একাধিক বেঞ্চমার্ক এবং বাস্তব কাজে ধারাবাহিকভাবে অত্যাধুনিক অ্যালগরিদমের কর্মক্ষমতা অর্জন বা অতিক্রম করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

  1. অতিমূল্যায়ন পক্ষপাত সমস্যা: ঐতিহ্যবাহী Q-লার্নিং অ্যালগরিদম অতিমূল্যায়ন পক্ষপাত থেকে ভোগে, যা শিক্ষা প্রক্রিয়া ব্যাহত করে এবং নীতি কর্মক্ষমতা হ্রাস করে
  2. এজ কম্পিউটিং সম্পদ সীমাবদ্ধতা: এজ ডিভাইসের গণনা এবং মেমরি সম্পদ সীমিত, বিদ্যমান বহু-Q নেটওয়ার্ক পদ্ধতি (যেমন TD3, SAC) গণনা ওভারহেড অত্যধিক
  3. গোপনীয়তা সুরক্ষা প্রয়োজনীয়তা: এজ পরিস্থিতি ডিভাইসে শিক্ষা প্রয়োজন, ক্লাউড সংক্রমণ এড়ায়, ডেটা গোপনীয়তা রক্ষা করে

গবেষণা গুরুত্ব

  • এজ কম্পিউটিং স্বয়ংচালিত, স্মার্ট উৎপাদন, স্মার্ট স্বাস্থ্যসেবা এবং অন্যান্য ক্ষেত্রে ব্যাপকভাবে প্রয়োগ করা হয়
  • বিদ্যমান অ্যালগরিদম (TD3, SAC ইত্যাদি) 10টি পর্যন্ত Q নেটওয়ার্ক ব্যবহার করে, মেমরি এবং গণনা ওভারহেড মূল অ্যালগরিদমের 10 গুণ
  • এজ ডিভাইসগুলি সীমিত সম্পদের অধীনে দক্ষ শিক্ষা বাস্তবায়ন করতে প্রয়োজন

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

  • TD3/SAC: দ্বৈত Q-নেটওয়ার্ক প্রক্রিয়া ব্যবহার করে, মেমরি ব্যবহার 29-31% বৃদ্ধি, গণনা সময় 30% এর বেশি বৃদ্ধি
  • সর্বশেষ অ্যালগরিদম (TQC, REDQ ইত্যাদি): 5-10টি Q নেটওয়ার্ক ব্যবহার করে, গণনা ওভারহেড বৃহত্তর, এজ পরিস্থিতির জন্য অনুপযুক্ত
  • CDQ প্রক্রিয়া: পক্ষপাত ট্রেড-অফের জন্য সূক্ষ্ম নিয়ন্ত্রণের অভাব

মূল অবদান

  1. নতুন Expectile ক্ষতি ফাংশন: প্রত্যাশিত পরিমাণের উপর ভিত্তি করে ক্ষতি ফাংশন প্রস্তাব করে, শুধুমাত্র একটি একক Q নেটওয়ার্ক ব্যবহার করে অতিমূল্যায়ন পক্ষপাত নিয়ন্ত্রণ করে
  2. EdgeD3 অ্যালগরিদম: Expectile ক্ষতি, বিলম্বিত আপডেট এবং লক্ষ্য মসৃণকরণ কৌশল একত্রিত করে দক্ষ অ্যালগরিদম
  3. তাত্ত্বিক বিশ্লেষণ: Expectile ক্ষতির একঘেয়েতা এবং অসিম্পটোটিক সংমিশ্রণ প্রমাণ করে
  4. ব্যাপক পরীক্ষা যাচাইকরণ: Mujoco সিমুলেশন পরিবেশ এবং বাস্তব রোবট নেভিগেশন কাজে অ্যালগরিদম প্রভাব যাচাই করে
  5. সম্পদ দক্ষতা উন্নতি: DDPG এর তুলনায় 25% GPU সময় হ্রাস, SOTA পদ্ধতির তুলনায় 30% গণনা এবং মেমরি ব্যবহার হ্রাস

পদ্ধতি বিস্তারিত

কাজ সংজ্ঞা

ক্রমাগত নিয়ন্ত্রণের জন্য মার্কভ সিদ্ধান্ত প্রক্রিয়া (MDP) গবেষণা করে, পাঁচটি উপাদান সংজ্ঞায়িত করে (S, A, P, R, γ):

  • S: ক্রমাগত অবস্থা স্থান
  • A: ক্রমাগত কর্ম স্থান
  • P: অবস্থা রূপান্তর সম্ভাব্যতা ঘনত্ব ফাংশন
  • R: পুরস্কার ফাংশন r: S×A×S → ℝ
  • γ: ছাড় ফ্যাক্টর

লক্ষ্য নীতি μ_φ(a_t|s_t) শিখা যা প্রত্যাশিত সংগৃহীত পুরস্কার সর্বাধিক করে।

মূল প্রযুক্তিগত উদ্ভাবন

1. Expectile ক্ষতি ফাংশন

ঐতিহ্যবাহী MSE ক্ষতির অসমান সংস্করণ:

L_{α,β}(f_θ(x), y) = 1/Z {
    α(y - f_θ(x))² যদি f_θ(x) < y
    β(y - f_θ(x))² অন্যথায়
}

যেখানে Z = max(α,β) স্বাভাবিকীকরণ ধ্রুবক।

মূল বৈশিষ্ট্য:

  • α = β: মান MSE এ অবনমিত হয়
  • α < β: কম অনুমানের দিকে প্রবণ, Q-লার্নিং এর অতিমূল্যায়নের বিরুদ্ধে
  • α > β: অতিমূল্যায়নের দিকে প্রবণ

2. তাত্ত্বিক গ্যারান্টি

উপপাদ্য 1 (Expectile একঘেয়েতা): Expectile ফাংশন τ সম্পর্কে একঘেয়ে অ-হ্রাসমান, অর্থাৎ τ₁ ≤ τ₂ ⟹ t₁ ≤ t₂

অনুসিদ্ধান্ত 1.1 (অসিম্পটোটিক সংমিশ্রণ): ক্ষয় ফাংশন λ(t) এর মাধ্যমে, অ্যালগরিদম চূড়ান্তভাবে নিরপেক্ষ অনুমানে সংমিশ্রণ নিশ্চিত করা যায়:

min(α_{t+1}, β_{t+1}) ← min(α_t, β_t) + |α_t - β_t| · λ(t)

3. EdgeD3 অ্যালগরিদম আর্কিটেকচার

EdgeDDPG মৌলিক সংস্করণ:

  • সমালোচক আপডেট: MSE এর পরিবর্তে Expectile ক্ষতি ব্যবহার করে
  • অভিনেতা আপডেট: মান নির্ধারক নীতি গ্র্যাডিয়েন্ট

EdgeD3 সম্পূর্ণ সংস্করণ:

  • বিলম্বিত নীতি আপডেট: প্রতি k ধাপে অভিনেতা নেটওয়ার্ক আপডেট করে
  • লক্ষ্য মসৃণকরণ: লক্ষ্য অনুমানে শব্দ যোগ করে
  • Expectile ক্ষতি: অনুমান পক্ষপাত নিয়ন্ত্রণ করে
# মূল আপডেট সূত্র
y = E_{ε~p(x)}[r + γQ_{θ'}(s', ε + μ_{φ'}(s'))]
∇L(θ) = ∇_θ N^{-1} Σ L_{α,β}(y, Q_θ(s,a))

অপ্টিমাইজেশন ল্যান্ডস্কেপ মসৃণকরণ

গ্র্যাডিয়েন্ট পেনাল্টির পরিবর্তে লক্ষ্য শব্দ ইনজেকশন গ্রহণ করে:

  • ঐতিহ্যবাহী পদ্ধতি: L(θ) = MSE + ξ||∇_a Q(s,a)||² (গণনা ব্যয়বহুল)
  • এই পেপার পদ্ধতি: লক্ষ্যে শব্দ যোগ করে, গ্র্যাডিয়েন্ট পেনাল্টির সমতুল্য কিন্তু গণনা দক্ষ

পরীক্ষা সেটআপ

সিমুলেশন পরিবেশ

  • ডেটাসেট: Mujoco ফিজিক্স সিমুলেশন পরিবেশ স্যুট
  • কাজ: Ant, Reacher, Hopper, Walker2d, Humanoid, HalfCheetah, Swimmer
  • মূল্যায়ন: প্রতি 5000 ধাপে 10টি episode মূল্যায়ন, 10টি র্যান্ডম বীজ

বাস্তব রোবট পরীক্ষা

  • প্ল্যাটফর্ম: কাস্টম TurtleBot + Raspberry Pi3B + 2D লেজার রেডার
  • কাজ: করিডর নেভিগেশন, অ-কাঠামোগত পরিবেশ নেভিগেশন
  • অবস্থা: 16-মাত্রিক লেজার স্ক্যান + লাইনার গতি + কৌণিক গতি
  • কর্ম: 2-মাত্রিক ক্রমাগত নিয়ন্ত্রণ (লাইনার গতি, কৌণিক গতি)

তুলনা পদ্ধতি

  • DDPG: মৌলিক গভীর নির্ধারক নীতি গ্র্যাডিয়েন্ট
  • TD3: Twin Delayed DDPG
  • SAC: Soft Actor-Critic
  • PPO: Proximal Policy Optimization

মূল্যায়ন সূচক

  • কর্মক্ষমতা: সংগৃহীত পুরস্কার
  • সম্পদ ব্যবহার: GPU সময়, মেমরি দখল
  • প্রশিক্ষণ দক্ষতা: একই সময় বাজেটের অধীনে কর্মক্ষমতা

পরীক্ষা ফলাফল

সম্পদ ব্যবহার তুলনা

মেমরি ব্যবহার (EdgeD3 এর সাপেক্ষে):

  • DDPG: -1.2%
  • TD3: +29.3%
  • SAC: +31.1%

GPU সময় তুলনা:

  • EdgeD3: 214.0±7.1ms
  • DDPG: 285.5±7.4ms (-25.0%)
  • TD3: 308.2±2.7ms (-30.5%)
  • SAC(বিলম্বিত): 320.9±3.6ms (-33.3%)
  • SAC(মূল): 492.9±2.9ms (-56.8%)

কর্মক্ষমতা তুলনা

সিমুলেশন পরিবেশ সর্বোত্তম কর্মক্ষমতা (একই সময় বাজেট):

পরিবেশEdgeD3DDPGSACTD3
Ant-v34350.04990.552739.814208.10
Hopper-v33388.442222.853148.892786.22
Walker2d-v33788.071601.162974.403580.83
HalfCheetah10645.810309.08937.39677.5

EdgeD3 7টি কাজের মধ্যে 5টিতে সর্বোত্তম কর্মক্ষমতা অর্জন করে, অবশিষ্ট কাজে শীর্ষ দুটিতে অবস্থান করে।

বাস্তব রোবট ফলাফল

  • করিডর নেভিগেশন: EdgeD3 প্রশিক্ষণ শুরু থেকেই সর্বোত্তম পারফর্ম করে
  • অ-কাঠামোগত নেভিগেশন: EdgeD3 30 মিনিটের পরে অন্যান্য পদ্ধতি অতিক্রম করে
  • আপডেট ফ্রিকোয়েন্সি: EdgeD3(8Hz) > TD3(5.9Hz) > DDPG(5.8Hz) > SAC(3.3Hz)

বিলোপন পরীক্ষা

বিভিন্ন α,β সমন্বয়ের প্রভাব পরীক্ষা করে:

  • Swimmer: α>β (অতিমূল্যায়নের দিকে প্রবণ) আরও ভাল ফলাফল দেয়
  • Ant: α<β (কম অনুমানের দিকে প্রবণ) আরও ভাল ফলাফল দেয়
  • Expectile ক্ষতির নমনীয়তা স্থির CDQ প্রক্রিয়ার চেয়ে উন্নত প্রমাণ করে

সম্পর্কিত কাজ

অনুমান পক্ষপাত প্রশমন

  • Double Q-learning: দুটি স্বাধীন অনুমানকারী ব্যবহার করে
  • সমষ্টি পদ্ধতি: TQC(5 নেটওয়ার্ক), REDQ(10 নেটওয়ার্ক), RAC(10 নেটওয়ার্ক)
  • এই পেপার অবদান: একক-নেটওয়ার্ক সমাধান, গণনা দক্ষ

এজ কম্পিউটিং RL

  • মডেল সংকোচন: পরিমাণীকরণ, ছাঁটাই ইত্যাদি কৌশল
  • অ্যালগরিদম অপ্টিমাইজেশন: এই পেপার প্রথমবার অ্যালগরিদম স্তরে এজ RL দক্ষতা সমস্যা সমাধান করে

ক্রমাগত নিয়ন্ত্রণ

  • অভিনেতা-সমালোচক পদ্ধতি: DDPG, TD3, SAC ইত্যাদি
  • নীতি গ্র্যাডিয়েন্ট: সরাসরি নীতি পরামিতি অপ্টিমাইজ করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

  1. দক্ষতা উন্নতি: EdgeD3 SOTA পদ্ধতির তুলনায় 30% গণনা এবং মেমরি ব্যবহার হ্রাস করে
  2. কর্মক্ষমতা রক্ষা: বেশিরভাগ কাজে অত্যাধুনিক পদ্ধতির কর্মক্ষমতা অর্জন বা অতিক্রম করে
  3. ব্যবহারিকতা: বাস্তব রোবটে এজ স্থাপনার সম্ভাব্যতা যাচাই করে
  4. তাত্ত্বিক ভিত্তি: সম্পূর্ণ তাত্ত্বিক বিশ্লেষণ এবং সংমিশ্রণ গ্যারান্টি প্রদান করে

সীমাবদ্ধতা

  1. জটিল কাজ: Humanoid এর মতো অতি-জটিল কাজে এখনও উন্নতির অবকাশ রয়েছে
  2. হাইপারপ্যারামিটার: যদিও α=1,β=2 ভাল প্রাথমিক মান, তবুও কাজ-সম্পর্কিত সামঞ্জস্য প্রয়োজন
  3. পরিবেশ নির্ভরতা: বিভিন্ন পরিবেশ বিভিন্ন α,β সেটিং প্রয়োজন হতে পারে

ভবিষ্যত দিকনির্দেশনা

  1. স্বয়ংক্রিয় হাইপারপ্যারামিটার: অনলাইনে α,β পরামিতি সামঞ্জস্য করে
  2. অন্যান্য ক্ষতি ফাংশন: পরিমাণ ক্ষতি, অসমান Huber ক্ষতি ইত্যাদি অন্বেষণ করে
  3. মডেল সংকোচন সমন্বয়: পরিমাণীকরণ, ছাঁটাই ইত্যাদি কৌশলের সাথে সমন্বয়

গভীর মূল্যায়ন

সুবিধা

  1. শক্তিশালী উদ্ভাবনী: প্রথমবার Expectile রিগ্রেশন RL এ প্রবর্তন করে, অতিমূল্যায়ন পক্ষপাত সমাধান করে
  2. উচ্চ ব্যবহারিক মূল্য: সরাসরি এজ কম্পিউটিং এর সম্পদ সীমাবদ্ধতা সমস্যা সমাধান করে
  3. তাত্ত্বিক সম্পূর্ণতা: একঘেয়েতা, সংমিশ্রণ ইত্যাদি তাত্ত্বিক গ্যারান্টি প্রদান করে
  4. পরীক্ষা পর্যাপ্ত: সিমুলেশন + বাস্তব রোবট দ্বৈত যাচাইকরণ
  5. লেখা স্পষ্ট: অ্যালগরিদম বর্ণনা বিস্তারিত, পুনরুৎপাদনযোগ্যতা শক্তিশালী

অপূর্ণতা

  1. প্রযোজ্য পরিসীমা: প্রধানত ক্রমাগত নিয়ন্ত্রণের জন্য, বিচ্ছিন্ন কর্ম স্থানের প্রযোজ্যতা অজানা
  2. হাইপারপ্যারামিটার সংবেদনশীলতা: বিভিন্ন কাজ α,β সামঞ্জস্য প্রয়োজন, স্বয়ংক্রিয় পদ্ধতির অভাব
  3. তুলনা অসম্পূর্ণ: সর্বশেষ সমষ্টি পদ্ধতির সাথে তুলনার অভাব (যেমন সর্বশেষ শক্তি মডেল পদ্ধতি)

প্রভাব

  1. একাডেমিক অবদান: এজ RL এর জন্য নতুন দিকনির্দেশনা খোলে, তত্ত্ব এবং অনুশীলন উভয়ই গুরুত্বপূর্ণ
  2. শিল্প প্রয়োগ: সম্পদ-সীমিত বাস্তব স্থাপনার জন্য সরাসরি প্রযোজ্য
  3. পুনরুৎপাদনযোগ্যতা: সম্পূর্ণ অ্যালগরিদম এবং হাইপারপ্যারামিটার সেটিং প্রদান করে

প্রযোজ্য পরিস্থিতি

  1. এজ ডিভাইস: মোবাইল রোবট, ড্রোন, IoT ডিভাইস
  2. রিয়েল-টাইম নিয়ন্ত্রণ: কম বিলম্ব প্রতিক্রিয়া প্রয়োজন এমন নিয়ন্ত্রণ কাজ
  3. গোপনীয়তা সুরক্ষা: ডেটা ক্লাউডে প্রেরণ করা যায় না এমন পরিস্থিতি
  4. সম্পদ সীমিত: CPU, মেমরি, শক্তি খরচ কঠোর সীমাবদ্ধতা সহ পরিবেশ

রেফারেন্স

পেপারটি শক্তিশালী শিক্ষা, ক্রমাগত নিয়ন্ত্রণ, এজ কম্পিউটিং এবং অন্যান্য ক্ষেত্রের 56টি গুরুত্বপূর্ণ সাহিত্য উদ্ধৃত করে, তাত্ত্বিক ভিত্তি থেকে ব্যবহারিক প্রয়োগ পর্যন্ত সম্পূর্ণ প্রযুক্তি স্ট্যাক কভার করে, গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের গবেষণা পেপার, তাত্ত্বিক উদ্ভাবন, পরীক্ষা যাচাইকরণ এবং ব্যবহারিক মূল্য সব দিক থেকে উল্লেখযোগ্য অবদান রাখে। EdgeD3 অ্যালগরিদম চতুরতার সাথে এজ কম্পিউটিং পরিস্থিতিতে RL দক্ষতা সমস্যা সমাধান করে, গুরুত্বপূর্ণ একাডেমিক মূল্য এবং প্রয়োগ সম্ভাবনা রয়েছে।