On Your Own: Pro-level Autonomous Drone Racing in Uninstrumented Arenas
Bosello, Pinzarrone, Kiade et al.
Drone technology is proliferating in many industries, including agriculture, logistics, defense, infrastructure, and environmental monitoring. Vision-based autonomy is one of its key enablers, particularly for real-world applications. This is essential for operating in novel, unstructured environments where traditional navigation methods may be unavailable. Autonomous drone racing has become the de facto benchmark for such systems. State-of-the-art research has shown that autonomous systems can surpass human-level performance in racing arenas. However, direct applicability to commercial and field operations is still limited as current systems are often trained and evaluated in highly controlled environments. In our contribution, the system's capabilities are analyzed within a controlled environment -- where external tracking is available for ground-truth comparison -- but also demonstrated in a challenging, uninstrumented environment -- where ground-truth measurements were never available. We show that our approach can match the performance of professional human pilots in both scenarios. We also publicly release the data from the flights carried out by our approach and a world-class human pilot.
academic
À Vous de Jouer : Courses de Drones Autonomes de Niveau Professionnel dans des Arènes Non Instrumentées
Titre: On Your Own: Pro-level Autonomous Drone Racing in Uninstrumented Arenas
Auteurs: Michael Bosello, Flavio Pinzarrone, Sara Kiade, Davide Aguiari, Yvo Keuter, Aaesha AlShehhi, Gyordan Caminati, Kei Long Wong, Ka Seng Chou, Junaid Halepota, Fares Alneyadi, Jacopo Panerati, Giovanni Pau
La technologie des drones se développe rapidement dans de nombreux secteurs, notamment l'agriculture, la logistique, la défense, les infrastructures et la surveillance environnementale. L'autonomie basée sur la vision est un facteur clé de cette évolution, particulièrement pour les applications du monde réel. Ceci est essentiel pour opérer dans des environnements novateurs et non structurés où les méthodes de navigation traditionnelles peuvent ne pas être disponibles. Les courses de drones autonomes sont devenues l'étalon de référence de facto pour ces systèmes. Les recherches récentes montrent que les systèmes autonomes peuvent surpasser les performances humaines dans les circuits de course. Cependant, l'application directe aux opérations commerciales et sur le terrain reste limitée, car les systèmes actuels sont généralement entraînés et évalués dans des environnements hautement contrôlés. Cet article analyse et démontre les capacités du système dans des environnements contrôlés (où le suivi externe est disponible pour la comparaison de vérité terrain) et dans des environnements non instrumentés difficiles (où aucune mesure de vérité terrain n'est disponible). L'étude montre que la méthode peut égaler les performances des pilotes humains professionnels dans les deux scénarios.
Problème à résoudre: Bien que les systèmes actuels de courses de drones autonomes surpassent les performances humaines dans les environnements contrôlés, ils font face à des défis dans les applications pratiques, particulièrement dans les environnements non instrumentés dépourvus de systèmes de suivi externe.
Importance du problème:
L'application généralisée de la technologie des drones dans plusieurs secteurs nécessite une autonomie fiable dans les environnements non structurés
Les déploiements dans le monde réel manquent généralement de systèmes de positionnement externe précis
Il est nécessaire de vérifier la robustesse des systèmes autonomes dans les conditions réelles
Limitations des approches existantes:
Dépendance vis-à-vis d'environnements hautement contrôlés et de systèmes de suivi externe
Nécessité de données de vérité terrain pour l'ajustement fin du système
Performance instable face aux variations d'éclairage et aux environnements inconnus
Motivation de la recherche: Développer des systèmes de drones autonomes capables d'atteindre des performances de niveau professionnel dans les environnements non instrumentés, favorisant la transition de la technologie vers les applications commerciales réelles.
Réalisation de courses de drones autonomes de niveau professionnel: Atteinte du niveau professionnel à la fois dans les environnements contrôlés (avec suivi externe) et dans les environnements non instrumentés (sans mesures de vérité terrain)
Proposition d'une pile de perception et de contrôle robuste: Ne nécessitant pas l'utilisation de données de vérité terrain pour l'ajustement fin des estimations résiduelles, et démontrant l'adaptabilité à diverses conditions d'éclairage
Publication d'un ensemble de données de vol de niveau professionnel: Contenant 6 vols de pilotes champions du monde, avec un temps de vol total de 240,77 secondes, une distance de vol de 2342,98 mètres et une vitesse maximale de 21,29 m/s
Vérification des performances en compétition homme-machine: Compétition directe avec des pilotes de classe mondiale dans plusieurs scénarios, démontrant l'applicabilité pratique du système
Entrées: Flux d'images de caméra stéréo, données IMU, informations de position des portes de circuit
Sorties: Commandes de contrôle du drone (poussée collective et vitesse angulaire du corps)
Contraintes: Exigences de temps réel, limitations dynamiques, exigences d'évitement d'obstacles
Base VIO: Caméra stéréo Intel T265 fournissant l'odomètrie visuelle-inertielle
Correction de dérive:
Vecteur d'état: x = p_d^T ∈ R³ (vecteur de dérive de position)
Propagation d'état: x_{k+1} = Fx_k, P_{k+1} = FP_kF^T + Q
Mise à jour de Kalman: K_k = P_k^-H^T(HP_k^-H^T + R)^{-1}
Fusion IMU: Utilisation d'un filtre de Kalman étendu pour fusionner les données IMU à 500 Hz
Ajustement sans vérité terrain: Contrairement aux méthodes existantes, le système ne dépend pas des données de suivi externe pour l'ajustement fin de l'estimation d'état
Intégration IMU haute fréquence: Réalisation de la lecture des données IMU à 500 Hz via le protocole MSP optimisé, représentant une amélioration significative par rapport aux 10 Hz du protocole SBUS
Traitement visuel robuste:
Paramètres d'exposition fixes réduisant le flou de mouvement
Méthode de distillation de modèle réduisant les besoins d'annotation (seulement 80 images annotées manuellement)
VIO vs MoCap: Utilisation uniquement du VIO embarqué par rapport au suivi externe, le temps moyen au tour n'est que 4,7% plus lent
Effet de la correction de dérive: Le filtrage de Kalman améliore significativement la précision de l'estimation de position pour les vols de longue durée
Contribution de la fusion IMU: La fusion des données IMU à 500 Hz fournit une estimation d'état plus fluide
Manœuvre Split-S: Le système autonome excelle dans l'espace contraint, avec une cohérence de trajectoire supérieure aux pilotes humains
Segment en spirale: Identifié par les pilotes humains comme une zone de performance critique, le système autonome atteint des performances compétitives grâce à l'optimisation de trajectoire
Virage en épingle à cheveux: Devient le facteur limitant principal pour le système autonome, nécessitant un paramétrage conservateur du rapport poussée-poids
1 Hanover, D., et al. "Autonomous drone racing: A survey." IEEE Transactions on Robotics, 2024.
2 Kaufmann, E., et al. "Champion-level drone racing using deep reinforcement learning." Nature, 2023.
3 Bosello, M., et al. "Race against the machine: A fully-annotated, open-design dataset." IEEE RAL, 2024.
Évaluation Globale: Ceci est un article d'orientation ingénierie d'une valeur pratique importante, convertissant avec succès la technologie de laboratoire en un système réellement déployable. Bien que relativement limité en innovation algorithmique, sa contribution à la vérification en environnement réel et à l'ingénierie de systèmes est significative pour promouvoir l'industrialisation de la technologie d'autonomie des drones.