2025-11-21T23:34:16.264289

On Your Own: Pro-level Autonomous Drone Racing in Uninstrumented Arenas

Bosello, Pinzarrone, Kiade et al.
Drone technology is proliferating in many industries, including agriculture, logistics, defense, infrastructure, and environmental monitoring. Vision-based autonomy is one of its key enablers, particularly for real-world applications. This is essential for operating in novel, unstructured environments where traditional navigation methods may be unavailable. Autonomous drone racing has become the de facto benchmark for such systems. State-of-the-art research has shown that autonomous systems can surpass human-level performance in racing arenas. However, direct applicability to commercial and field operations is still limited as current systems are often trained and evaluated in highly controlled environments. In our contribution, the system's capabilities are analyzed within a controlled environment -- where external tracking is available for ground-truth comparison -- but also demonstrated in a challenging, uninstrumented environment -- where ground-truth measurements were never available. We show that our approach can match the performance of professional human pilots in both scenarios. We also publicly release the data from the flights carried out by our approach and a world-class human pilot.
academic

À Vous de Jouer : Courses de Drones Autonomes de Niveau Professionnel dans des Arènes Non Instrumentées

Informations Fondamentales

  • ID de l'article: 2510.13644
  • Titre: On Your Own: Pro-level Autonomous Drone Racing in Uninstrumented Arenas
  • Auteurs: Michael Bosello, Flavio Pinzarrone, Sara Kiade, Davide Aguiari, Yvo Keuter, Aaesha AlShehhi, Gyordan Caminati, Kei Long Wong, Ka Seng Chou, Junaid Halepota, Fares Alneyadi, Jacopo Panerati, Giovanni Pau
  • Classification: cs.RO (Robotique)
  • Date de publication: 15 octobre 2025
  • Lien de l'article: https://arxiv.org/abs/2510.13644

Résumé

La technologie des drones se développe rapidement dans de nombreux secteurs, notamment l'agriculture, la logistique, la défense, les infrastructures et la surveillance environnementale. L'autonomie basée sur la vision est un facteur clé de cette évolution, particulièrement pour les applications du monde réel. Ceci est essentiel pour opérer dans des environnements novateurs et non structurés où les méthodes de navigation traditionnelles peuvent ne pas être disponibles. Les courses de drones autonomes sont devenues l'étalon de référence de facto pour ces systèmes. Les recherches récentes montrent que les systèmes autonomes peuvent surpasser les performances humaines dans les circuits de course. Cependant, l'application directe aux opérations commerciales et sur le terrain reste limitée, car les systèmes actuels sont généralement entraînés et évalués dans des environnements hautement contrôlés. Cet article analyse et démontre les capacités du système dans des environnements contrôlés (où le suivi externe est disponible pour la comparaison de vérité terrain) et dans des environnements non instrumentés difficiles (où aucune mesure de vérité terrain n'est disponible). L'étude montre que la méthode peut égaler les performances des pilotes humains professionnels dans les deux scénarios.

Contexte et Motivation de la Recherche

  1. Problème à résoudre: Bien que les systèmes actuels de courses de drones autonomes surpassent les performances humaines dans les environnements contrôlés, ils font face à des défis dans les applications pratiques, particulièrement dans les environnements non instrumentés dépourvus de systèmes de suivi externe.
  2. Importance du problème:
    • L'application généralisée de la technologie des drones dans plusieurs secteurs nécessite une autonomie fiable dans les environnements non structurés
    • Les déploiements dans le monde réel manquent généralement de systèmes de positionnement externe précis
    • Il est nécessaire de vérifier la robustesse des systèmes autonomes dans les conditions réelles
  3. Limitations des approches existantes:
    • Dépendance vis-à-vis d'environnements hautement contrôlés et de systèmes de suivi externe
    • Nécessité de données de vérité terrain pour l'ajustement fin du système
    • Performance instable face aux variations d'éclairage et aux environnements inconnus
  4. Motivation de la recherche: Développer des systèmes de drones autonomes capables d'atteindre des performances de niveau professionnel dans les environnements non instrumentés, favorisant la transition de la technologie vers les applications commerciales réelles.

Contributions Principales

  1. Réalisation de courses de drones autonomes de niveau professionnel: Atteinte du niveau professionnel à la fois dans les environnements contrôlés (avec suivi externe) et dans les environnements non instrumentés (sans mesures de vérité terrain)
  2. Proposition d'une pile de perception et de contrôle robuste: Ne nécessitant pas l'utilisation de données de vérité terrain pour l'ajustement fin des estimations résiduelles, et démontrant l'adaptabilité à diverses conditions d'éclairage
  3. Publication d'un ensemble de données de vol de niveau professionnel: Contenant 6 vols de pilotes champions du monde, avec un temps de vol total de 240,77 secondes, une distance de vol de 2342,98 mètres et une vitesse maximale de 21,29 m/s
  4. Vérification des performances en compétition homme-machine: Compétition directe avec des pilotes de classe mondiale dans plusieurs scénarios, démontrant l'applicabilité pratique du système

Explication Détaillée de la Méthode

Définition de la Tâche

Entrées: Flux d'images de caméra stéréo, données IMU, informations de position des portes de circuit Sorties: Commandes de contrôle du drone (poussée collective et vitesse angulaire du corps) Contraintes: Exigences de temps réel, limitations dynamiques, exigences d'évitement d'obstacles

Architecture du Modèle

1. Pile de Vision (Vision Stack)

  • Détection de portes: Utilisation du modèle YOLOv8n (3,2 millions de paramètres) pour détecter les portes de circuit
  • Détection de coins: Utilisation du modèle MobileNetV3-Small amélioré (1,1 million de paramètres) pour détecter les quatre coins intérieurs des portes
  • Stratégies d'optimisation:
    • Conversion en graphe ONNX et moteur TensorRT
    • Accélération utilisant la précision FP16
    • Latence par image: 24-30 ms

2. Pile d'Estimation d'État (State Estimation Stack)

  • Base VIO: Caméra stéréo Intel T265 fournissant l'odomètrie visuelle-inertielle
  • Correction de dérive:
    Vecteur d'état: x = p_d^T ∈ R³ (vecteur de dérive de position)
    Propagation d'état: x_{k+1} = Fx_k, P_{k+1} = FP_kF^T + Q
    Mise à jour de Kalman: K_k = P_k^-H^T(HP_k^-H^T + R)^{-1}
    
  • Fusion IMU: Utilisation d'un filtre de Kalman étendu pour fusionner les données IMU à 500 Hz

3. Pile de Contrôle (Control Stack)

  • Génération de trajectoire optimale en temps: Considérant la dynamique des corps rigides et les contraintes des actionneurs
  • Contrôle prédictif du modèle: Basé sur le cadre PAMPC, avec désactivation des objectifs de perception
  • Compensation de latence: Intégration d'un prédicteur d'état pour compenser les délais de calcul et d'exécution

Points d'Innovation Technique

  1. Ajustement sans vérité terrain: Contrairement aux méthodes existantes, le système ne dépend pas des données de suivi externe pour l'ajustement fin de l'estimation d'état
  2. Intégration IMU haute fréquence: Réalisation de la lecture des données IMU à 500 Hz via le protocole MSP optimisé, représentant une amélioration significative par rapport aux 10 Hz du protocole SBUS
  3. Traitement visuel robuste:
    • Paramètres d'exposition fixes réduisant le flou de mouvement
    • Méthode de distillation de modèle réduisant les besoins d'annotation (seulement 80 images annotées manuellement)
  4. Optimisation des performances en temps réel:
    • Configuration du noyau Linux temps réel
    • Inférence accélérée par GPU
    • Architecture de flux de données optimisée

Configuration Expérimentale

Ensemble de Données

  1. Circuit instrumenté:
    • Reconstruction basée sur l'ensemble de données RATM
    • Système MoCap Qualisys à 32 caméras fournissant la vérité terrain
    • Incluant virages serrés, segments en spirale et manœuvres Split-S
  2. Circuit non instrumenté:
    • Reconstruction du circuit Track Split-S
    • Localisation par station totale (précision centimétrique)
    • Conditions d'éclairage naturel variable

Métriques d'Évaluation

  • Temps au tour: Temps pour compléter un tour
  • Vitesse maximale: Vitesse de pointe atteinte pendant le vol
  • Longueur du trajet: Longueur réelle de la trajectoire de vol
  • Cohérence: Écart-type sur plusieurs vols
  • Fiabilité: Taux de réussite et nombre de collisions

Méthodes de Comparaison

  • Pilotes professionnels: 3 pilotes professionnels, incluant le champion du monde MCK
  • Suivi externe: Vol autonome utilisant le système MoCap
  • Embarqué pur: Vol autonome utilisant uniquement les capteurs embarqués

Détails d'Implémentation

  • Plateforme matérielle: NVIDIA Orin NX + Intel RealSense T265
  • Rapport poussée-poids: ~7:1 (capacité batterie complète)
  • Poids: 665,5 g (sans batterie)
  • Communication: Connexion série MSP 1 MBaud

Résultats Expérimentaux

Résultats Principaux

Performance sur Circuit Instrumenté

SystèmeTemps moyen au tour (s)Meilleur temps au tour (s)Vitesse maximale (m/s)Nombre de collisions
MCK (champion du monde)4,71±1,253,8424,965
Système autonome (MoCap)4,44±0,114,3922,280
Système autonome (VIO)4,65±0,224,4022,20

Performance sur Circuit Non Instrumenté

SystèmeTemps moyen au tour (s)Meilleur temps au tour (s)Nombre de collisions
MCK5,80±0,405,052
Système autonome6,02±0,065,924

Études d'Ablation

  1. VIO vs MoCap: Utilisation uniquement du VIO embarqué par rapport au suivi externe, le temps moyen au tour n'est que 4,7% plus lent
  2. Effet de la correction de dérive: Le filtrage de Kalman améliore significativement la précision de l'estimation de position pour les vols de longue durée
  3. Contribution de la fusion IMU: La fusion des données IMU à 500 Hz fournit une estimation d'état plus fluide

Analyses de Cas

  • Manœuvre Split-S: Le système autonome excelle dans l'espace contraint, avec une cohérence de trajectoire supérieure aux pilotes humains
  • Segment en spirale: Identifié par les pilotes humains comme une zone de performance critique, le système autonome atteint des performances compétitives grâce à l'optimisation de trajectoire
  • Virage en épingle à cheveux: Devient le facteur limitant principal pour le système autonome, nécessitant un paramétrage conservateur du rapport poussée-poids

Découvertes Expérimentales

  1. Avantage de cohérence: Le système autonome démontre une cohérence significativement meilleure (écart-type plus faible)
  2. Adaptabilité environnementale: Le système s'adapte avec succès à différentes conditions d'éclairage et configurations de circuit
  3. Défis d'interaction homme-machine: En compétition sur circuit partagé, le système autonome est plus vulnérable aux collisions

Travaux Connexes

Directions de Recherche Principales

  1. Défi AlphaPilot (2019): Compétition pionnière de courses de drones IA
  2. Méthodes d'apprentissage par renforcement profond: Kaufmann et al. ont démontré en 2023 des performances surpassant les humains
  3. Construction d'ensembles de données: L'ensemble de données RATM fournit un étalon de référence pour le développement d'algorithmes

Avantages de cet Article

  • Vérification en environnement réel: Première réalisation de performances de niveau professionnel dans des environnements non instrumentés
  • Orientation pratique: Indépendant des systèmes de suivi externe, plus proche des scénarios d'application réelle
  • Complétude du système: Fournit une solution complète de la perception au contrôle

Conclusions et Discussion

Conclusions Principales

  1. Les systèmes de drones autonomes peuvent atteindre le niveau des pilotes professionnels dans les environnements non instrumentés
  2. L'optimisation d'ingénierie appropriée et l'intégration de systèmes sont plus importantes que les algorithmes complexes
  3. La cohérence est l'avantage principal des systèmes autonomes par rapport aux humains

Limitations

  1. Défis d'espace partagé: Adaptabilité insuffisante dans les compétitions homme-machine mixtes
  2. Généralisation environnementale: Nécessite toujours une petite quantité de données pour l'adaptation environnementale
  3. Performance extrême: Légèrement inférieure aux meilleurs temps au tour des pilotes d'élite

Directions Futures

  1. Transition des caméras stéréo vers les caméras monoculaires, se rapprochant davantage du système visuel humain
  2. Amélioration de l'interaction multi-agents et de l'évitement de collisions
  3. Amélioration de la capacité de transfert sim-to-real

Évaluation Approfondie

Points Forts

  1. Valeur pratique élevée: Résout l'écart critique entre le laboratoire et les applications réelles
  2. Complétude d'ingénierie: Fournit des détails d'implémentation matérielle et logicielle détaillés
  3. Évaluation complète: Inclut des évaluations multidimensionnelles quantitatives et qualitatives
  4. Ouverture des données: Publication d'un ensemble de données de vol de haute qualité

Insuffisances

  1. Innovation algorithmique limitée: Principalement l'intégration d'ingénierie de technologies existantes
  2. Analyse théorique insuffisante: Manque d'analyse théorique des limites de performance du système
  3. Limitation de scénarios: Vérification uniquement sur des circuits structurés en intérieur

Impact

  1. Promotion de l'industrialisation: Fournit une référence importante pour la commercialisation de la technologie d'autonomie des drones
  2. Signification de référence: Établit un étalon de performance dans les environnements non instrumentés
  3. Contribution open-source: L'ouverture des ensembles de données et du code favorisera le développement du domaine

Scénarios d'Application

  • Applications d'entreposage et de logistique en intérieur
  • Inspection d'infrastructures
  • Missions de recherche et sauvetage
  • Divertissement et compétitions sportives

Références

1 Hanover, D., et al. "Autonomous drone racing: A survey." IEEE Transactions on Robotics, 2024. 2 Kaufmann, E., et al. "Champion-level drone racing using deep reinforcement learning." Nature, 2023. 3 Bosello, M., et al. "Race against the machine: A fully-annotated, open-design dataset." IEEE RAL, 2024.


Évaluation Globale: Ceci est un article d'orientation ingénierie d'une valeur pratique importante, convertissant avec succès la technologie de laboratoire en un système réellement déployable. Bien que relativement limité en innovation algorithmique, sa contribution à la vérification en environnement réel et à l'ingénierie de systèmes est significative pour promouvoir l'industrialisation de la technologie d'autonomie des drones.