2025-11-25T07:58:17.729708

OrbitZoo: Multi-Agent Reinforcement Learning Environment for Orbital Dynamics

Oliveira, Dyreby, Caldas et al.

The increasing number of satellites and orbital debris has made space congestion a critical issue, threatening satellite safety and sustainability. Challenges such as collision avoidance, station-keeping, and orbital maneuvering require advanced techniques to handle dynamic uncertainties and multi-agent interactions. Reinforcement learning (RL) has shown promise in this domain, enabling adaptive, autonomous policies for space operations; however, many existing RL frameworks rely on custom-built environments developed from scratch, which often use simplified models and require significant time to implement and validate the orbital dynamics, limiting their ability to fully capture real-world complexities. To address this, we introduce OrbitZoo, a versatile multi-agent RL environment built on a high-fidelity industry standard library, that enables realistic data generation, supports scenarios like collision avoidance and cooperative maneuvers, and ensures robust and accurate orbital dynamics. The environment is validated against a real satellite constellation, Starlink, achieving a Mean Absolute Percentage Error (MAPE) of 0.16% compared to real-world data. This validation ensures reliability for generating high-fidelity simulations and enabling autonomous and independent satellite operations.

academic

OrbitZoo: কক্ষপথীয় গতিশীলতার জন্য মাল্টি-এজেন্ট শক্তিশালী শিক্ষা পরিবেশ

মৌলিক তথ্য

পেপার আইডি: 2504.04160
শিরোনাম: OrbitZoo: কক্ষপথীয় গতিশীলতার জন্য মাল্টি-এজেন্ট শক্তিশালী শিক্ষা পরিবেশ
লেখক: Alexandre Oliveira, Katarina Dyreby, Francisco Caldas, Cláudia Soares (NOVA LINCS)
শ্রেণীবিভাগ: cs.LG cs.MA
প্রকাশনা সম্মেলন: NeurIPS 2025
পেপার লিঙ্ক: https://arxiv.org/abs/2504.04160v3

সারসংক্ষেপ

উপগ্রহ এবং কক্ষপথীয় ধ্বংসাবশেষের সংখ্যা ক্রমাগত বৃদ্ধির সাথে, মহাকাশ ভিড় উপগ্রহ নিরাপত্তা এবং স্থায়িত্বের জন্য একটি গুরুত্বপূর্ণ হুমকি হয়ে উঠেছে। সংঘর্ষ এড়ানো, অবস্থান বজায় রাখা এবং কক্ষপথীয় কৌশল গতিশীল অনিশ্চয়তা এবং মাল্টি-এজেন্ট মিথস্ক্রিয়া পরিচালনার জন্য উন্নত প্রযুক্তির প্রয়োজন। শক্তিশালী শিক্ষা (RL) এই ক্ষেত্রে সম্ভাবনা প্রদর্শন করে, মহাকাশ ক্রিয়াকলাপের জন্য অভিযোজনযোগ্য, স্বায়ত্তশাসিত কৌশল প্রদান করতে পারে; তবে, অনেক বিদ্যমান RL কাঠামো শূন্য থেকে নির্মিত কাস্টম পরিবেশের উপর নির্ভর করে, সাধারণত সরলীকৃত মডেল ব্যবহার করে, কক্ষপথীয় গতিশীলতা বাস্তবায়ন এবং যাচাইয়ের জন্য উল্লেখযোগ্য সময় প্রয়োজন, যা বাস্তব-বিশ্বের জটিলতা সম্পূর্ণভাবে ক্যাপচার করার ক্ষমতা সীমিত করে। এই সমস্যা সমাধানের জন্য, এই পেপারটি OrbitZoo উপস্থাপন করে, যা উচ্চ-বিশ্বস্ততা শিল্প-মান লাইব্রেরির উপর নির্মিত একটি বহুমুখী মাল্টি-এজেন্ট RL পরিবেশ, যা বাস্তব ডেটা উৎপাদন সক্ষম করে, সংঘর্ষ এড়ানো এবং সহযোগিতামূলক কৌশল সহ পরিস্থিতি সমর্থন করে, এবং শক্তিশালী নির্ভুল কক্ষপথীয় গতিশীলতা নিশ্চিত করে। পরিবেশটি প্রকৃত উপগ্রহ নক্ষত্রমণ্ডল Starlink এর সাথে যাচাইকরণের মাধ্যমে, বাস্তব-বিশ্বের ডেটার তুলনায় 0.16% গড় পরম শতাংশ ত্রুটি (MAPE) অর্জন করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

মহাকাশ ভিড় সমস্যা: 1957 সাল থেকে, মানবতা প্রায় 20,000 উপগ্রহ উৎক্ষেপণ করেছে, বর্তমানে কক্ষপথীয় পরিবেশে প্রায় 1.4 কোটি ধ্বংসাবশেষ বস্তু বিদ্যমান, যার মধ্যে প্রায় 10 লক্ষ 1 সেন্টিমিটারের চেয়ে বড়, যা প্রভাবের সময় বিধ্বংসী ক্ষতি সৃষ্টি করতে যথেষ্ট।
কেসলার সিন্ড্রোম হুমকি: ধ্বংসাবশেষ সংঘর্ষ আরও বেশি ধ্বংসাবশেষ তৈরি করে, একটি শৃঙ্খল প্রতিক্রিয়া গঠন করে, যা পৃথিবীর কক্ষপথ অব্যবহারযোগ্য করে তুলতে পারে।
ঐতিহ্যবাহী পদ্ধতির সীমাবদ্ধতা: বর্তমান উপগ্রহ কৌশল সমাধান মানব প্রক্রিয়ার উপর ব্যাপকভাবে নির্ভর করে, উপগ্রহ এবং কক্ষপথীয় ধ্বংসাবশেষের সংখ্যা ক্রমাগত বৃদ্ধির সাথে, ঐতিহ্যবাহী পদ্ধতি টেকসই হয়ে ওঠে না।

গবেষণা প্রেরণা

স্বয়ংক্রিয়করণের প্রয়োজনীয়তা: দ্রুত, আরও সক্ষম স্বায়ত্তশাসিত বুদ্ধিমান সিদ্ধান্ত গ্রহণ ব্যবস্থা বিকাশের প্রয়োজন।
RL প্রয়োগের সম্ভাবনা: RL রিয়েল-টাইম অভিযোজন জটিল, গতিশীল এবং অ-রৈখিক মহাকাশ সিস্টেমে চমৎকার পারফরম্যান্স প্রদর্শন করে।
মান নির্ধারণের অভাব: বিদ্যমান RL কাঠামোতে মান নির্ধারণের অভাব রয়েছে, বেশিরভাগ সরলীকৃত মডেলের উপর ভিত্তি করে, বাস্তব-বিশ্বের জটিলতা ক্যাপচার করা কঠিন।

মূল অবদান

উচ্চ-বিশ্বস্ততা ডেটা উৎপাদন: Python এবং শক্তিশালী মহাকাশ গতিশীলতা লাইব্রেরির উপর নির্মিত, প্রকৃত শক্তি এবং বিঘ্ন একীভূত করে, নির্ভুল ডেটাসেট প্রদান করে, দ্রুত প্রচারের জন্য সমান্তরাল গণনা সমর্থন করে।
মাল্টি-এজেন্ট শক্তিশালী শিক্ষা সমর্থন: মান নির্ধারিত RL গবেষণা প্ল্যাটফর্ম, PettingZoo লাইব্রেরি ব্যবহার করে আংশিক পর্যবেক্ষণযোগ্য মার্কভ সিদ্ধান্ত প্রক্রিয়া (POMDP) কাঠামোর মাল্টি-এজেন্ট RL সমর্থন করে, হাজার হাজার মহাজাগতিক বস্তুর সিস্টেম স্কেলিং সমর্থন করে।
কাস্টমাইজযোগ্য কাঠামো এবং ভিজ্যুয়ালাইজেশন: মডুলার ডিজাইন ব্যবহারকারীদের নির্বিচারে সংখ্যক মহাজাগতিক বস্তু পরিস্থিতি সংজ্ঞায়িত করতে অনুমতি দেয়, কাস্টম মডেল একীভূত করে, স্পষ্ট বিমূর্ততা স্তর বিভাজন সহ, ইন্টারেক্টিভ 3D ভিজ্যুয়ালাইজেশন উপাদান প্রদান করে।
বাস্তব-বিশ্ব যাচাইকরণ: Starlink উপগ্রহ নক্ষত্রমণ্ডলের সাথে তুলনামূলক যাচাইকরণের মাধ্যমে, 0.16% MAPE অর্জন করে, উচ্চ-বিশ্বস্ততা সিমুলেশনের নির্ভরযোগ্যতা নিশ্চিত করে।

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

OrbitZoo কক্ষপথীয় গতিশীলতায় শক্তিশালী শিক্ষার জন্য একটি মান নির্ধারিত, উচ্চ-বিশ্বস্ততা মাল্টি-এজেন্ট পরিবেশ প্রদান করার লক্ষ্য রাখে, সমর্থন করে:

একক-এজেন্ট এবং মাল্টি-এজেন্ট কাজ
সহযোগিতামূলক, প্রতিযোগিতামূলক বা মিশ্র পরিস্থিতি
ক্রমাগত এবং বিচ্ছিন্ন ক্রিয়া স্থান
আংশিক পর্যবেক্ষণযোগ্য পরিবেশ

মডেল স্থাপত্য

মূল মডিউল ডিজাইন

Body শ্রেণী: ভৌত সত্তার ভিত্তি শ্রেণী
- অনন্য সনাক্তকারী, ভর, ব্যাসার্ধ, প্রাথমিক অবস্থান এবং বেগ অন্তর্ভুক্ত করে
- ভবিষ্যত অবস্থা গণনা করার জন্য অন্তর্নির্মিত সংখ্যাগত প্রচারক
- অনিশ্চয়তা প্রচার সমর্থন করে
Satellite শ্রেণী: Body শ্রেণী প্রসারিত করে
- প্রপালশন সিস্টেম এবং এজেন্ট পরামিতি যোগ করে
- পোলার স্থানাঙ্ক থ্রাস্ট প্যারামিটারাইজেশন সমর্থন করে (T, θ, φ)
- জ্বালানী ভর এবং নির্দিষ্ট আবেগ পরামিতি অন্তর্ভুক্ত করে
Interface শ্রেণী: ইন্টারেক্টিভ 3D ভিজ্যুয়ালাইজেশন
- কাস্টমাইজযোগ্য ভিজ্যুয়াল উপাদান
- রিয়েল-টাইম সিস্টেম অবস্থা আপডেট
- নমনীয় ক্যামেরা দৃষ্টিভঙ্গি
Environment শ্রেণী: উচ্চ-স্তরের ইন্টারেক্শন ইন্টারফেস
- PettingZoo মান সামঞ্জস্যপূর্ণ
- একক/মাল্টি-এজেন্ট কাজ সমর্থন করে
- কক্ষপথীয় অবস্থা তথ্য ব্যবস্থাপনা প্রদান করে

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

1. উচ্চ-বিশ্বস্ততা গতিশীলতা মডেলিং

মহাকর্ষীয় ক্ষেত্র মডেলিং: Holmes-Featherstone গোলাকার সুরেলা ফাংশন ব্যবহার করে
বিঘ্ন শক্তি: বায়ুমণ্ডলীয় ড্র্যাগ, সৌর বিকিরণ চাপ, তৃতীয় বডি প্রভাব
সংখ্যাগত একীকরণ: Dormand-Prince পরিবর্তনশীল পদক্ষেপ পদ্ধতি সমর্থন করে

2. স্থানাঙ্ক সিস্টেম সমর্থন

কার্টেসিয়ান স্থানাঙ্ক: সরাসরি সংখ্যাগত গণনা
কেপলেরিয়ান উপাদান: কক্ষপথীয় জ্যামিতি বর্ণনা
সমান পয়েন্ট উপাদান: বৈশিষ্ট্য সমস্যা এড়ায়

3. থ্রাস্ট মডেলিং

পোলার স্থানাঙ্ক প্যারামিটারাইজেশন ব্যবহার করে, ঐতিহ্যবাহী RSW স্থানাঙ্ক সিস্টেমের তুলনায় আরও বাস্তবসম্মত:

T_RSW = T(cos θ Ŝ + sin θ(cos φ R̂ + sin φ Ŵ))

4. অনিশ্চয়তা প্রচার

মন্টে কার্লো সিমুলেশনের প্রত্যাশিত অনিশ্চয়তা বিশ্লেষণাত্মক আনুমানিক করতে অবস্থা রূপান্তর ম্যাট্রিক্স (STM) ব্যবহার করে:

Σ_Δt = ΦΣ_0Φ^T

পরীক্ষামূলক সেটআপ

পরীক্ষামূলক পরিস্থিতি ডিজাইন

1. একক-এজেন্ট কাজ

Hohmann কৌশল: ক্লাসিক কক্ষপথ স্থানান্তর
সংঘর্ষ এড়ানো: সংঘর্ষ সম্ভাবনা হ্রাস করা
লক্ষ্য ট্র্যাকিং: গতিশীল লক্ষ্য ট্র্যাকিং

2. মাল্টি-এজেন্ট কাজ

GEO নক্ষত্রমণ্ডল সমন্বয়: ভূস্থির কক্ষপথ সমান বিতরণ
স্বাধীন শিক্ষা বনাম ফেডারেটেড শিক্ষা: বিভিন্ন সহযোগিতা কৌশল তুলনা করা

মূল্যায়ন মেট্রিক্স

কক্ষপথীয় নির্ভুলতা: তাত্ত্বিক সমাধান থেকে বিচ্যুতি
জ্বালানী খরচ: কাজ সম্পূর্ণতার জ্বালানী দক্ষতা
সংঘর্ষ সম্ভাবনা: PoC < 10^-6 নিরাপত্তা থ্রেশহোল্ড
সংমিশ্রণ কর্মক্ষমতা: প্রশিক্ষণ episode এর সংগৃহীত পুরস্কার

তুলনামূলক পদ্ধতি

DDPG: ক্রমাগত নিয়ন্ত্রণ বেসলাইন
PPO: নীতি অপ্টিমাইজেশন পদ্ধতি
DDQN: বিচ্ছিন্ন ক্রিয়া স্থান
স্বাধীন শিক্ষা: যোগাযোগ ছাড়াই মাল্টি-এজেন্ট
ফেডারেটেড শিক্ষা: পরামিতি ভাগাভাগি সহযোগিতা

বাস্তবায়ন বিবরণ

নেটওয়ার্ক স্থাপত্য: দুটি লুকানো স্তর, Tanh সক্রিয়করণ ফাংশন
প্রশিক্ষণ পরামিতি: শিক্ষার হার 0.0001, GAE λ=0.95
হার্ডওয়্যার কনফিগারেশন: Intel i3-8100 CPU, GTX 1050 Ti GPU, 16GB RAM

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

1. Starlink যাচাইকরণ ফলাফল

কম RMSE গ্রুপ: 24.14 মিটার (16.6 ঘন্টা প্রচার)
মধ্যম RMSE গ্রুপ: 83.75 মিটার
উচ্চ RMSE গ্রুপ: 1924.90 মিটার
সামগ্রিক MAPE: 0.16%

2. Hohmann কৌশল পরীক্ষা

সফলভাবে কাছাকাছি-সর্বোত্তম কৌশল শিখেছে, তাত্ত্বিক সেমি-মেজর অক্ষ মান মেলে
বাস্তব বিঘ্নের অধীনে এখনও লক্ষ্য কক্ষপথে পৌঁছাতে পারে
পরীক্ষা 2 পরীক্ষা 1 এর তুলনায় দ্রুত সংমিশ্রণ (α2=0.5 বনাম α2=0)

3. সংঘর্ষ এড়ানো তুলনা

PPO কর্মক্ষমতা: প্রাথমিক থ্রাস্ট প্রয়োগ, সংঘর্ষ ঝুঁকি কার্যকরভাবে হ্রাস করে
DDQN কর্মক্ষমতা: প্রশিক্ষণ গতিশীলতার অধীনে কার্যকর, কিন্তু সাধারণীকরণ ক্ষমতা দুর্বল
ক্রমাগত ক্রিয়া স্থান সুবিধা: PPO বাস্তব গতিশীলতার অধীনে আরও ভাল পারফর্ম করে

4. GEO নক্ষত্রমণ্ডল সমন্বয়

এজেন্টরা সফলভাবে সমান বিতরণ কৌশল শিখেছে
ফেডারেটেড শিক্ষা দ্রুত সংমিশ্রণ হার
অদেখা বিঘ্নের অধীনে ভাল সাধারণীকরণ ক্ষমতা

অ্যাবলেশন পরীক্ষা

থ্রাস্ট দিক শাস্তি প্রভাব

পরীক্ষা তুলনা দেখায় যে পুরস্কার ফাংশনে ট্র্যাক-বরাবর দিক শাস্তি যোগ করা (α2=0.5) শিক্ষার ফলাফল উল্লেখযোগ্যভাবে উন্নত করতে পারে:

লক্ষ্য কক্ষপথে দ্রুত সংমিশ্রণ
অপ্রয়োজনীয় কক্ষপথ সমতল বাইরে কৌশল হ্রাস করে
সর্বোত্তম Hohmann কৌশলের কাছাকাছি

গতিশীলতা জটিলতা প্রভাব

সরলীকৃত মডেল প্রশিক্ষণ: শুধুমাত্র নিউটনীয় মহাকর্ষ
বাস্তব মূল্যায়ন: সমস্ত বিঘ্ন শক্তি
সাধারণীকরণ ক্ষমতা: প্রশিক্ষণ কৌশল বাস্তব অবস্থার অধীনে এখনও কার্যকর

কর্মক্ষমতা বিশ্লেষণ

গণনামূলক কর্মক্ষমতা

সময় জটিলতা: O(n), n হল মহাজাগতিক বস্তুর সংখ্যা
সমান্তরাল প্রভাব: জটিল শক্তি মডেলের অধীনে সমান্তরাল মোড দ্রুত
স্কেলেবিলিটি: হাজার হাজার মহাজাগতিক বস্তু সিস্টেম সমর্থন করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

যাচাইকরণ সফল: OrbitZoo Starlink ডেটা দ্বারা যাচাইকৃত, MAPE মাত্র 0.16%
কার্যকারিতা সম্পূর্ণ: একক/মাল্টি-এজেন্ট, সহযোগিতামূলক/প্রতিযোগিতামূলক পরিস্থিতি সমর্থন করে
কর্মক্ষমতা চমৎকার: প্রশিক্ষণ কৌশল বাস্তব গতিশীলতার অধীনে ভাল পারফর্ম করে
ব্যবহারযোগ্যতা শক্তিশালী: মডুলার ডিজাইন, দ্রুত উন্নয়ন এবং স্থাপনা সমর্থন করে

সীমাবদ্ধতা

গণনামূলক ওভারহেড: উচ্চ-বিশ্বস্ততা সিমুলেশন আরও গণনামূলক সম্পদ প্রয়োজন
পরামিতি টিউনিং: পরীক্ষায় ব্যাপক হাইপারপ্যারামিটার অপ্টিমাইজেশন পরিচালিত হয়নি
স্কেলিং চ্যালেঞ্জ: বড় নক্ষত্রমণ্ডলের রিয়েল-টাইম সিমুলেশন এখনও চ্যালেঞ্জিং
মডেল নির্ভরতা: Orekit লাইব্রেরির নির্ভুলতার উপর নির্ভর করে

ভবিষ্যত দিকনির্দেশনা

অ্যালগরিদম অপ্টিমাইজেশন: বিশেষায়িত কক্ষপথ RL অ্যালগরিদম অন্বেষণ করা
সম্প্রসারণ প্রয়োগ: আরও কাজের ধরন এবং সীমাবদ্ধতা সমর্থন করা
কর্মক্ষমতা উন্নতি: GPU ত্বরণ এবং বিতরণকৃত গণনা
মান নির্ধারণ অগ্রগতি: কক্ষপথ RL বেঞ্চমার্ক পরীক্ষা প্রতিষ্ঠা করা

গভীর মূল্যায়ন

সুবিধা

উদ্ভাবন শক্তিশালী: শিল্প-মান লাইব্রেরির উপর ভিত্তি করে প্রথম মাল্টি-এজেন্ট কক্ষপথ RL পরিবেশ
যাচাইকরণ পর্যাপ্ত: বাস্তব উপগ্রহ ডেটা দ্বারা যাচাইকৃত, উচ্চ বিশ্বাসযোগ্যতা
কার্যকারিতা ব্যাপক: একাধিক পরিস্থিতি এবং অ্যালগরিদম সমর্থন করে, ভাল সম্প্রসারণযোগ্যতা
ব্যবহারিক মূল্য উচ্চ: প্রকৃত উপগ্রহ কাজ উন্নয়নে সরাসরি ব্যবহার করা যায়

অপূর্ণতা

গণনামূলক দক্ষতা: উচ্চ-বিশ্বস্ততা সিমুলেশন গণনামূলক খরচ বেশি
অ্যালগরিদম সীমাবদ্ধতা: প্রধানত ক্লাসিক RL অ্যালগরিদম যাচাই করে, বিশেষায়িত অপ্টিমাইজেশনের অভাব
পরিস্থিতি কভারেজ: পরীক্ষামূলক পরিস্থিতি তুলনামূলক সীমিত, আরও প্রয়োগ সম্প্রসারণ করা যায়
তাত্ত্বিক বিশ্লেষণ: সংমিশ্রণ ইত্যাদির তাত্ত্বিক গ্যারান্টির অভাব

প্রভাব

একাডেমিক অবদান: কক্ষপথ RL মান নির্ধারিত পরিবেশের শূন্যতা পূরণ করে
শিল্প মূল্য: প্রকৃত উপগ্রহ স্বায়ত্তশাসিত নিয়ন্ত্রণ উন্নয়নে ব্যবহার করা যায়
ওপেন সোর্স অর্থ: এই ক্ষেত্রের গবেষণার পুনরুৎপাদনযোগ্যতা প্রচার করে
মান নির্ধারণ প্রতিষ্ঠা: কক্ষপথ RL গবেষণার মান প্ল্যাটফর্ম হওয়ার সম্ভাবনা

প্রযোজ্য পরিস্থিতি

উপগ্রহ স্বায়ত্তশাসিত নিয়ন্ত্রণ: কক্ষপথ বজায় রাখা, কৌশল পরিকল্পনা
নক্ষত্রমণ্ডল ব্যবস্থাপনা: মাল্টি-স্যাটেলাইট সমন্বয়, গঠন উড়ান
সংঘর্ষ এড়ানো: মহাকাশ ধ্বংসাবশেষ এড়ানো কৌশল
কাজ পরিকল্পনা: জটিল মহাকাশ কাজের বুদ্ধিমান সিদ্ধান্ত গ্রহণ
শিক্ষা প্রশিক্ষণ: মহাকাশ প্রকৌশল এবং মেশিন শিক্ষা শিক্ষা

তথ্যসূত্র

Orekit: ওপেন সোর্স মহাজাগতিক বলবিদ্যা লাইব্রেরি
PettingZoo: মাল্টি-এজেন্ট RL পরিবেশ মান
Starlink ephemeris data: উপগ্রহ কক্ষপথ যাচাইকরণ ডেটা
সম্পর্কিত কক্ষপথ RL গবেষণা: Kolosa (2019), Herrera (2020), Casas (2022) ইত্যাদি

সারসংক্ষেপ: OrbitZoo একটি গুরুত্বপূর্ণ একাডেমিক এবং ব্যবহারিক মূল্যের একটি ওপেন সোর্স মাল্টি-এজেন্ট শক্তিশালী শিক্ষা পরিবেশ, উচ্চ-বিশ্বস্ততা কক্ষপথীয় গতিশীলতা মডেলিং এবং বাস্তব ডেটা যাচাইকরণের মাধ্যমে, মহাকাশ স্বায়ত্তশাসিত সিস্টেমের গবেষণা এবং উন্নয়নের জন্য একটি শক্তিশালী সরঞ্জাম প্রদান করে। এই কাজ শুধুমাত্র মহাকাশ ক্ষেত্রে RL প্রয়োগ অগ্রসর করে না, বরং এই আন্তঃবিষয়ক ক্ষেত্রের মান নির্ধারিত উন্নয়নে গুরুত্বপূর্ণ অবদান রাখে।