2025-11-21T23:34:16.264289

On Your Own: Pro-level Autonomous Drone Racing in Uninstrumented Arenas

Bosello, Pinzarrone, Kiade et al.
Drone technology is proliferating in many industries, including agriculture, logistics, defense, infrastructure, and environmental monitoring. Vision-based autonomy is one of its key enablers, particularly for real-world applications. This is essential for operating in novel, unstructured environments where traditional navigation methods may be unavailable. Autonomous drone racing has become the de facto benchmark for such systems. State-of-the-art research has shown that autonomous systems can surpass human-level performance in racing arenas. However, direct applicability to commercial and field operations is still limited as current systems are often trained and evaluated in highly controlled environments. In our contribution, the system's capabilities are analyzed within a controlled environment -- where external tracking is available for ground-truth comparison -- but also demonstrated in a challenging, uninstrumented environment -- where ground-truth measurements were never available. We show that our approach can match the performance of professional human pilots in both scenarios. We also publicly release the data from the flights carried out by our approach and a world-class human pilot.
academic

আপনার নিজের উপর: অপরিকল্পিত এলাকায় পেশাদার স্তরের স্বায়ত্তশাসিত ড্রোন রেসিং

মৌলিক তথ্য

  • পেপার আইডি: 2510.13644
  • শিরোনাম: On Your Own: Pro-level Autonomous Drone Racing in Uninstrumented Arenas
  • লেখক: Michael Bosello, Flavio Pinzarrone, Sara Kiade, Davide Aguiari, Yvo Keuter, Aaesha AlShehhi, Gyordan Caminati, Kei Long Wong, Ka Seng Chou, Junaid Halepota, Fares Alneyadi, Jacopo Panerati, Giovanni Pau
  • শ্রেণীবিভাগ: cs.RO (রোবোটিক্স)
  • প্রকাশনার সময়: ২০২৫ সালের ১৫ অক্টোবর
  • পেপার লিংক: https://arxiv.org/abs/2510.13644

সারসংক্ষেপ

ড্রোন প্রযুক্তি কৃষি, লজিস্টিক্স, প্রতিরক্ষা, অবকাঠামো এবং পরিবেশ পর্যবেক্ষণ সহ একাধিক শিল্পে দ্রুত বিকশিত হচ্ছে। দৃষ্টি-ভিত্তিক স্বায়ত্তশাসন এর একটি মূল চালিকা শক্তি, বিশেষত বাস্তব-বিশ্ব প্রয়োগের জন্য। এটি উপন্যাস, অ-কাঠামোগত পরিবেশে কাজ করার জন্য অত্যন্ত গুরুত্বপূর্ণ যেখানে ঐতিহ্যবাহী নেভিগেশন পদ্ধতি উপলব্ধ নাও হতে পারে। স্বায়ত্তশাসিত ড্রোন রেসিং এই ধরনের সিস্টেমের জন্য একটি বাস্তব মান হয়ে উঠেছে। সর্বশেষ গবেষণা দেখায় যে স্বায়ত্তশাসিত সিস্টেমগুলি রেসিং ট্র্যাকে মানব-স্তরের কর্মক্ষমতা অতিক্রম করতে পারে। তবে বাণিজ্যিক এবং ক্ষেত্র পরিচালনায় সরাসরি প্রয়োগ এখনও সীমিত, কারণ বর্তমান সিস্টেমগুলি সাধারণত অত্যন্ত নিয়ন্ত্রিত পরিবেশে প্রশিক্ষিত এবং মূল্যায়ন করা হয়। এই পত্রটি নিয়ন্ত্রিত পরিবেশ (যেখানে সত্য তুলনার জন্য বাহ্যিক ট্র্যাকিং উপলব্ধ) এবং চ্যালেঞ্জিং অপরিকল্পিত পরিবেশ (যেখানে কখনও সত্য পরিমাপ উপলব্ধ নয়) উভয় ক্ষেত্রে সিস্টেম ক্ষমতা বিশ্লেষণ এবং প্রদর্শন করে। গবেষণা দেখায় যে পদ্ধতিটি উভয় পরিস্থিতিতে পেশাদার মানব পাইলটদের কর্মক্ষমতার সাথে মেলে।

গবেষণার পটভূমি এবং প্রেরণা

  1. সমাধানের জন্য সমস্যা: বিদ্যমান স্বায়ত্তশাসিত ড্রোন রেসিং সিস্টেমগুলি নিয়ন্ত্রিত পরিবেশে মানব কর্মক্ষমতা অতিক্রম করতে পারে, কিন্তু বাস্তব প্রয়োগে চ্যালেঞ্জের সম্মুখীন হয়, বিশেষত বাহ্যিক ট্র্যাকিং সিস্টেম ছাড়াই অপরিকল্পিত পরিবেশে।
  2. সমস্যার গুরুত্ব:
    • একাধিক শিল্পে ড্রোন প্রযুক্তির ব্যাপক প্রয়োগের জন্য অ-কাঠামোগত পরিবেশে নির্ভরযোগ্য স্বায়ত্তশাসন প্রয়োজন
    • বাস্তব-বিশ্ব স্থাপনা সাধারণত নির্ভুল বাহ্যিক অবস্থান সিস্টেমের অভাব রয়েছে
    • বাস্তব শর্তে স্বায়ত্তশাসিত সিস্টেমের দৃঢ়তা যাচাই করার প্রয়োজন
  3. বিদ্যমান পদ্ধতির সীমাবদ্ধতা:
    • অত্যন্ত নিয়ন্ত্রিত পরিবেশ এবং বাহ্যিক ট্র্যাকিং সিস্টেমের উপর নির্ভরতা
    • সিস্টেম সূক্ষ্ম-সুর করার জন্য সত্য ডেটার প্রয়োজন
    • আলোর পরিবর্তন এবং অজানা পরিবেশে অস্থির কর্মক্ষমতা
  4. গবেষণার প্রেরণা: অপরিকল্পিত পরিবেশে পেশাদার-স্তরের কর্মক্ষমতা অর্জনকারী স্বায়ত্তশাসিত ড্রোন সিস্টেম বিকাশ করা, প্রযুক্তিকে বাস্তব বাণিজ্যিক প্রয়োগের দিকে এগিয়ে নিয়ে যাওয়া।

মূল অবদান

  1. পেশাদার-স্তরের স্বায়ত্তশাসিত ড্রোন রেসিং বাস্তবায়ন: নিয়ন্ত্রিত পরিবেশ (বাহ্যিক ট্র্যাকিং সহ) এবং অপরিকল্পিত পরিবেশ (সত্য পরিমাপ ছাড়াই) উভয় ক্ষেত্রে পেশাদার স্তর অর্জন করা
  2. দৃঢ় উপলব্ধি এবং নিয়ন্ত্রণ স্ট্যাক প্রস্তাব: সত্য ডেটা ব্যবহার করে অবশিষ্ট অনুমান সূক্ষ্ম-সুর করার প্রয়োজন নেই, এবং একাধিক আলোর অবস্থার সাথে অভিযোজনযোগ্যতা প্রমাণ করা
  3. পেশাদার-স্তরের ফ্লাইট ডেটাসেট প্রকাশ: বিশ্ব চ্যাম্পিয়ন পাইলটদের ৬টি ফ্লাইট ডেটা সহ, মোট ফ্লাইট সময় ২৪০.৭৭ সেকেন্ড, ফ্লাইট দূরত্ব ২৩৪২.৯৮ মিটার, সর্বোচ্চ গতি ২১.২৯ মি/সে
  4. মানব-মেশিন প্রতিযোগিতা কর্মক্ষমতা যাচাই: একাধিক পরিস্থিতিতে বিশ্ব-মানের পাইলটদের সাথে সরাসরি প্রতিযোগিতা, সিস্টেমের ব্যবহারিকতা প্রদর্শন করা

পদ্ধতির বিস্তারিত ব্যাখ্যা

কাজের সংজ্ঞা

ইনপুট: স্টেরিও ক্যামেরা ইমেজ স্ট্রিম, IMU ডেটা, ট্র্যাক গেট অবস্থান তথ্য আউটপুট: ড্রোন নিয়ন্ত্রণ আদেশ (সম্মিলিত থ্রাস্ট এবং শরীর কৌণিক হার) সীমাবদ্ধতা: রিয়েল-টাইম প্রয়োজনীয়তা, গতিশীলতা সীমাবদ্ধতা, বাধা এড়ানোর প্রয়োজনীয়তা

মডেল আর্কিটেকচার

১. দৃষ্টি স্ট্যাক (Vision Stack)

  • গেট সনাক্তকরণ: YOLOv8n মডেল (৩.২ মিলিয়ন প্যারামিটার) ব্যবহার করে ট্র্যাক গেট সনাক্ত করা
  • কোণ বিন্দু সনাক্তকরণ: উন্নত MobileNetV3-Small মডেল (১.১ মিলিয়ন প্যারামিটার) ব্যবহার করে গেটের চারটি অভ্যন্তরীণ কোণ সনাক্ত করা
  • অপ্টিমাইজেশন কৌশল:
    • ONNX গ্রাফ এবং TensorRT ইঞ্জিনে রূপান্তর
    • FP16 নির্ভুলতা ব্যবহার করে ত্বরণ
    • প্রতি ফ্রেম বিলম্ব ২৪-৩০ মিলিসেকেন্ড

২. অবস্থা অনুমান স্ট্যাক (State Estimation Stack)

  • VIO ভিত্তি: Intel T265 স্টেরিও ক্যামেরা দৃষ্টি জড়তা odometry প্রদান করে
  • ড্রিফট সংশোধন: 
    অবস্থা ভেক্টর: x = p_d^T ∈ R³ (অবস্থান ড্রিফট ভেক্টর)
অবস্থা প্রচার: x_{k+1} = Fx_k, P_{k+1} = FP_kF^T + Q
কালম্যান আপডেট: K_k = P_k^-H^T(HP_k^-H^T + R)^{-1}
  • IMU সংমিশ্রণ: সম্প্রসারিত কালম্যান ফিল্টার ব্যবহার করে ৫০০ Hz IMU ডেটা সংমিশ্রণ

३. নিয়ন্ত্রণ স্ট্যাক (Control Stack)

  • সময় সর্বোত্তম ট্র্যাজেক্টরি প্রজন্ম: কঠিন শরীর গতিশীলতা এবং অ্যাকচুয়েটর সীমাবদ্ধতা বিবেচনা করা
  • মডেল পূর্বাভাসমূলক নিয়ন্ত্রণ: PAMPC ফ্রেমওয়ার্ক ভিত্তিক, উপলব্ধি লক্ষ্য অক্ষম করা
  • বিলম্ব ক্ষতিপূরণ: গণনা এবং সম্পাদন বিলম্ব ক্ষতিপূরণ করতে অবস্থা পূর্বাভাসক একীভূত করা

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

  1. সত্য ডেটা ছাড়াই সূক্ষ্ম-সুর: বিদ্যমান পদ্ধতির বিপরীতে, সিস্টেম অবস্থা অনুমানের জন্য বাহ্যিক ট্র্যাকিং ডেটার উপর নির্ভর করে না
  2. উচ্চ-ফ্রিকোয়েন্সি IMU একীকরণ: অপ্টিমাইজড MSP প্রোটোকলের মাধ্যমে ৫০০ Hz IMU ডেটা পড়া বাস্তবায়ন করা, SBUS প্রোটোকলের ১০ Hz এর তুলনায় উল্লেখযোগ্য উন্নতি
  3. দৃঢ় দৃষ্টি প্রক্রিয়াকরণ:
    • গতি ঝাপসা হ্রাস করতে স্থির এক্সপোজার সেটিংস
    • মডেল পাতন পদ্ধতি মন্তব্য প্রয়োজন হ্রাস করা (শুধুমাত্র ৮০ ফ্রেম ম্যানুয়াল মন্তব্য প্রয়োজন)
  4. রিয়েল-টাইম কর্মক্ষমতা অপ্টিমাইজেশন:
    • রিয়েল-টাইম Linux কার্নেল কনফিগারেশন
    • GPU ত্বরিত অনুমান
    • অপ্টিমাইজড ডেটা প্রবাহ আর্কিটেকচার

পরীক্ষামূলক সেটআপ

ডেটাসেট

  1. যন্ত্রপাতি ট্র্যাক:
    • RATM ডেটাসেটের উপর ভিত্তি করে পুনর্নির্মাণ
    • ৩২ ক্যামেরা Qualisys MoCap সিস্টেম সত্য প্রদান করে
    • তীক্ষ্ণ মোড়, সর্পিল বিভাগ এবং Split-S কৌশল অন্তর্ভুক্ত
  2. অপরিকল্পিত ট্র্যাক:
    • Track Split-S ট্র্যাক পুনর্নির্মাণ
    • সম্পূর্ণ স্টেশন ব্যবহার করে অবস্থান নির্ধারণ (সেন্টিমিটার-স্তরের নির্ভুলতা)
    • প্রাকৃতিক আলোর পরিবর্তন শর্ত

মূল্যায়ন মেট্রিক্স

  • ল্যাপ সময়: একটি একক ল্যাপ সম্পূর্ণ করার সময়
  • সর্বোচ্চ গতি: ফ্লাইটের সময় পৌঁছানো শীর্ষ গতি
  • পথ দৈর্ঘ্য: প্রকৃত ফ্লাইট ট্র্যাজেক্টরি দৈর্ঘ্য
  • সামঞ্জস্য: একাধিক ফ্লাইটের মান বিচ্যুতি
  • নির্ভরযোগ্যতা: সফল সমাপ্তির হার এবং সংঘর্ষের সংখ্যা

তুলনা পদ্ধতি

  • পেশাদার পাইলট: ৩ জন পেশাদার পাইলট, বিশ্ব চ্যাম্পিয়ন MCK সহ
  • বাহ্যিক ট্র্যাকিং: MoCap সিস্টেম ব্যবহার করে স্বায়ত্তশাসিত ফ্লাইট
  • বিশুদ্ধ অনবোর্ড: শুধুমাত্র অনবোর্ড সেন্সর ব্যবহার করে স্বায়ত্তশাসিত ফ্লাইট

বাস্তবায়ন বিবরণ

  • হার্ডওয়্যার প্ল্যাটফর্ম: NVIDIA Orin NX + Intel RealSense T265
  • থ্রাস্ট-টু-ওয়েট অনুপাত: ~7:1 (সম্পূর্ণ ব্যাটারি ক্ষমতা)
  • ওজন: ৬৬৫.৫ গ্রাম (ব্যাটারি ছাড়াই)
  • যোগাযোগ: 1MBaud MSP সিরিয়াল সংযোগ

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

যন্ত্রপাতি ট্র্যাক কর্মক্ষমতা

সিস্টেমগড় ল্যাপ সময় (সে)সেরা ল্যাপ সময় (সে)সর্বোচ্চ গতি (মি/সে)সংঘর্ষ সংখ্যা
MCK (বিশ্ব চ্যাম্পিয়ন)4.71±1.253.8424.965
স্বায়ত্তশাসিত সিস্টেম (MoCap)4.44±0.114.3922.280
স্বায়ত্তশাসিত সিস্টেম (VIO)4.65±0.224.4022.20

অপরিকল্পিত ট্র্যাক কর্মক্ষমতা

সিস্টেমগড় ল্যাপ সময় (সে)সেরা ল্যাপ সময় (সে)সংঘর্ষ সংখ্যা
MCK5.80±0.405.052
স্বায়ত্তশাসিত সিস্টেম6.02±0.065.924

অপসারণ পরীক্ষা

  1. VIO বনাম MoCap: শুধুমাত্র অনবোর্ড VIO ব্যবহার করে বাহ্যিক ট্র্যাকিংয়ের তুলনায় গড় ল্যাপ সময় মাত্র ৪.৭% ধীর
  2. ড্রিফট সংশোধন প্রভাব: কালম্যান ফিল্টার দীর্ঘ সময়ের ফ্লাইটে অবস্থান অনুমানের নির্ভুলতা উল্লেখযোগ্যভাবে উন্নত করে
  3. IMU সংমিশ্রণ অবদান: ৫০০ Hz IMU ডেটা সংমিশ্রণ আরও মসৃণ অবস্থা অনুমান প্রদান করে

কেস বিশ্লেষণ

  • Split-S কৌশল: স্বায়ত্তশাসিত সিস্টেম সীমিত স্থানে চমৎকার কর্মক্ষমতা প্রদর্শন করে, ট্র্যাজেক্টরি সামঞ্জস্য মানব পাইলটদের চেয়ে উন্নত
  • সর্পিল বিভাগ: মানব পাইলটরা মূল কর্মক্ষমতা অঞ্চল হিসাবে চিহ্নিত করে, স্বায়ত্তশাসিত সিস্টেম অপ্টিমাইজড ট্র্যাজেক্টরির মাধ্যমে প্রতিযোগিতামূলক কর্মক্ষমতা অর্জন করে
  • হেয়ারপিন টার্ন: স্বায়ত্তশাসিত সিস্টেমের প্রধান সীমাবদ্ধতা হয়ে ওঠে, রক্ষণশীল থ্রাস্ট-টু-ওয়েট অনুপাত সেটিংস প্রয়োজন

পরীক্ষামূলক অনুসন্ধান

  1. সামঞ্জস্য সুবিধা: স্বায়ত্তশাসিত সিস্টেম উল্লেখযোগ্যভাবে ভাল সামঞ্জস্য প্রদর্শন করে (ছোট মান বিচ্যুতি)
  2. পরিবেশ অভিযোজনযোগ্যতা: সিস্টেম বিভিন্ন আলোর অবস্থা এবং ট্র্যাক লেআউটে সফলভাবে অভিযোজিত হয়
  3. মানব-মেশিন মিথস্ক্রিয়া চ্যালেঞ্জ: ভাগ করা ট্র্যাক প্রতিযোগিতায়, স্বায়ত্তশাসিত সিস্টেম সংঘর্ষের প্রতি আরও দুর্বল

সম্পর্কিত কাজ

প্রধান গবেষণা দিকনির্দেশনা

  1. AlphaPilot চ্যালেঞ্জ (২০১৯): যুগান্তকারী AI ড্রোন রেসিং প্রতিযোগিতা
  2. গভীর শক্তিশালী শেখার পদ্ধতি: Kaufmann এবং অন্যরা ২০২৩ সালে মানব-স্তরের কর্মক্ষমতা অতিক্রম প্রদর্শন করেছেন
  3. ডেটাসেট নির্মাণ: RATM ডেটাসেট অ্যালগরিদম উন্নয়নের জন্য বেঞ্চমার্ক প্রদান করে

এই পত্রের সুবিধা

  • বাস্তব পরিবেশ যাচাইকরণ: অপরিকল্পিত পরিবেশে পেশাদার-স্তরের কর্মক্ষমতা অর্জনের প্রথম উদাহরণ
  • ব্যবহারিকতা-ভিত্তিক: বাহ্যিক ট্র্যাকিং সিস্টেমের উপর নির্ভর করে না, বাস্তব প্রয়োগের কাছাকাছি
  • সিস্টেম সম্পূর্ণতা: উপলব্ধি থেকে নিয়ন্ত্রণ পর্যন্ত সম্পূর্ণ সমাধান প্রদান করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

  1. স্বায়ত্তশাসিত ড্রোন সিস্টেম অপরিকল্পিত পরিবেশে পেশাদার পাইলট স্তরে পৌঁছাতে পারে
  2. উপযুক্ত প্রকৌশল অপ্টিমাইজেশন এবং সিস্টেম একীকরণ জটিল অ্যালগরিদমের চেয়ে বেশি গুরুত্বপূর্ণ
  3. সামঞ্জস্য স্বায়ত্তশাসিত সিস্টেমের মানুষের তুলনায় প্রধান সুবিধা

সীমাবদ্ধতা

  1. ভাগ করা স্থান চ্যালেঞ্জ: মানব-মেশিন মিশ্র প্রতিযোগিতায় অভিযোজনযোগ্যতা অপর্যাপ্ত
  2. পরিবেশ সাধারণীকরণ: পরিবেশ অভিযোজনের জন্য এখনও কিছু ডেটা প্রয়োজন
  3. চরম কর্মক্ষমতা: সেরা একক ল্যাপ সময়ে এখনও শীর্ষ পাইলটদের চেয়ে সামান্য কম

ভবিষ্যত দিকনির্দেশনা

  1. স্টেরিও ক্যামেরা থেকে মনোক্যামেরায় স্থানান্তর, মানব দৃষ্টি সিস্টেমের কাছাকাছি
  2. বহু-এজেন্ট মিথস্ক্রিয়া এবং সংঘর্ষ এড়ানো উন্নত করা
  3. Sim-to-real স্থানান্তর ক্ষমতা উন্নত করা

গভীর মূল্যায়ন

শক্তি

  1. উচ্চ ব্যবহারিক মূল্য: পরীক্ষাগার থেকে বাস্তব প্রয়োগের মধ্যে মূল ব্যবধান সমাধান করা
  2. প্রকৌশল সম্পূর্ণতা: বিস্তারিত হার্ডওয়্যার এবং সফটওয়্যার বাস্তবায়ন বিবরণ প্রদান করা
  3. ব্যাপক মূল্যায়ন: পরিমাণগত এবং গুণগত বহু-মাত্রিক মূল্যায়ন অন্তর্ভুক্ত করা
  4. ডেটা উন্মুক্তকরণ: উচ্চ-মানের ফ্লাইট ডেটাসেট জনসাধারণের জন্য প্রকাশ করা

অপর্যাপ্ততা

  1. সীমিত অ্যালগরিদম উদ্ভাবন: প্রধানত বিদ্যমান প্রযুক্তির প্রকৌশল একীকরণ
  2. অপর্যাপ্ত তাত্ত্বিক বিশ্লেষণ: সিস্টেম কর্মক্ষমতা সীমানার তাত্ত্বিক বিশ্লেষণের অভাব
  3. দৃশ্য সীমাবদ্ধতা: শুধুমাত্র অভ্যন্তরীণ কাঠামোগত ট্র্যাকে যাচাই করা

প্রভাব

  1. শিল্প উদ্ভাবন চালনা: ড্রোন স্বায়ত্তশাসন প্রযুক্তির বাণিজ্যিকীকরণের জন্য গুরুত্বপূর্ণ রেফারেন্স প্রদান করা
  2. বেঞ্চমার্ক অর্থ: অপরিকল্পিত পরিবেশে কর্মক্ষমতা বেঞ্চমার্ক স্থাপন করা
  3. ওপেন সোর্স অবদান: ডেটাসেট এবং কোডের উন্মুক্তকরণ ক্ষেত্র উন্নয়ন প্রচার করবে

প্রযোজ্য পরিস্থিতি

  • অভ্যন্তরীণ গুদাম এবং লজিস্টিক প্রয়োগ
  • অবকাঠামো পরিদর্শন
  • অনুসন্ধান এবং উদ্ধার কাজ
  • বিনোদন এবং ক্রীড়া প্রতিযোগিতা

রেফারেন্স

1 Hanover, D., et al. "Autonomous drone racing: A survey." IEEE Transactions on Robotics, 2024. 2 Kaufmann, E., et al. "Champion-level drone racing using deep reinforcement learning." Nature, 2023. 3 Bosello, M., et al. "Race against the machine: A fully-annotated, open-design dataset." IEEE RAL, 2024.

সামগ্রিক মূল্যায়ন: এটি একটি গুরুত্বপূর্ণ ব্যবহারিক মূল্যের প্রকৌশল-ভিত্তিক পত্র, যা পরীক্ষাগার প্রযুক্তিকে বাস্তবে স্থাপনযোগ্য সিস্টেমে সফলভাবে রূপান্তরিত করেছে। অ্যালগরিদম উদ্ভাবনে সীমিত হলেও, এর বাস্তব পরিবেশ যাচাইকরণ এবং সিস্টেম প্রকৌশলে অবদান ড্রোন স্বায়ত্তশাসন প্রযুক্তির শিল্পীকরণ প্রচারে গুরুত্বপূর্ণ।