2025-11-21T23:34:16.264289

On Your Own: Pro-level Autonomous Drone Racing in Uninstrumented Arenas

Bosello, Pinzarrone, Kiade et al.
Drone technology is proliferating in many industries, including agriculture, logistics, defense, infrastructure, and environmental monitoring. Vision-based autonomy is one of its key enablers, particularly for real-world applications. This is essential for operating in novel, unstructured environments where traditional navigation methods may be unavailable. Autonomous drone racing has become the de facto benchmark for such systems. State-of-the-art research has shown that autonomous systems can surpass human-level performance in racing arenas. However, direct applicability to commercial and field operations is still limited as current systems are often trained and evaluated in highly controlled environments. In our contribution, the system's capabilities are analyzed within a controlled environment -- where external tracking is available for ground-truth comparison -- but also demonstrated in a challenging, uninstrumented environment -- where ground-truth measurements were never available. We show that our approach can match the performance of professional human pilots in both scenarios. We also publicly release the data from the flights carried out by our approach and a world-class human pilot.
academic

Auf eigene Faust: Professionelles autonomes Drohnenrennen in nicht instrumentierten Arenen

Grundinformationen

  • Paper-ID: 2510.13644
  • Titel: On Your Own: Pro-level Autonomous Drone Racing in Uninstrumented Arenas
  • Autoren: Michael Bosello, Flavio Pinzarrone, Sara Kiade, Davide Aguiari, Yvo Keuter, Aaesha AlShehhi, Gyordan Caminati, Kei Long Wong, Ka Seng Chou, Junaid Halepota, Fares Alneyadi, Jacopo Panerati, Giovanni Pau
  • Klassifizierung: cs.RO (Robotik)
  • Veröffentlichungsdatum: 15. Oktober 2025
  • Paper-Link: https://arxiv.org/abs/2510.13644

Zusammenfassung

Die Drohnentechnologie entwickelt sich in mehreren Branchen wie Landwirtschaft, Logistik, Verteidigung, Infrastruktur und Umweltüberwachung schnell weiter. Die visionsbasierte Autonomie ist ein Schlüsseltreiber, besonders für reale Anwendungen. Dies ist entscheidend für den Betrieb in neuartigen, unstrukturierten Umgebungen, in denen traditionelle Navigationsmethoden möglicherweise nicht verfügbar sind. Autonomes Drohnenrennen hat sich als faktischer Standard-Benchmark für solche Systeme etabliert. Neueste Forschungen zeigen, dass autonome Systeme die menschliche Leistung auf Rennstrecken übertreffen können. Die direkte Anwendung auf kommerzielle und feldgestützte Operationen bleibt jedoch begrenzt, da aktuelle Systeme typischerweise in hochgradig kontrollierten Umgebungen trainiert und bewertet werden. Dieses Papier analysiert und demonstriert Systemfähigkeiten sowohl in kontrollierten Umgebungen (mit verfügbarem externem Tracking für Grundwahrheitsvergleiche) als auch in anspruchsvollen nicht instrumentierten Umgebungen (ohne verfügbare Grundwahrheitsmessungen). Die Forschung zeigt, dass die Methode die Leistung professioneller menschlicher Piloten in beiden Szenarien erreichen kann.

Forschungshintergrund und Motivation

  1. Zu lösende Probleme: Während bestehende autonome Drohnenrennsysteme in kontrollierten Umgebungen menschliche Leistung übertreffen können, stehen sie bei praktischen Anwendungen vor Herausforderungen, besonders in nicht instrumentierten Umgebungen ohne externe Tracking-Systeme.
  2. Bedeutung des Problems:
    • Die breite Anwendung von Drohnentechnologie in mehreren Branchen erfordert zuverlässige Autonomie in unstrukturierten Umgebungen
    • Reale Einsätze verfügen typischerweise nicht über präzise externe Positionierungssysteme
    • Es ist notwendig, die Robustheit autonomer Systeme unter realen Bedingungen zu überprüfen
  3. Einschränkungen bestehender Methoden:
    • Abhängigkeit von hochgradig kontrollierten Umgebungen und externen Tracking-Systemen
    • Anforderung von Grundwahrheitsdaten für Systemfeinabstimmung
    • Instabile Leistung bei Lichtwechsel und unbekannten Umgebungen
  4. Forschungsmotivation: Entwicklung autonomer Drohnensysteme, die professionelle Leistung in nicht instrumentierten Umgebungen erreichen, um die Technologie zur praktischen kommerziellen Anwendung voranzutreiben.

Kernbeiträge

  1. Realisierung professionellen autonomen Drohnenrennens: Erreichung professioneller Leistung sowohl in kontrollierten Umgebungen (mit externem Tracking) als auch in nicht instrumentierten Umgebungen (ohne Grundwahrheitsmessungen)
  2. Vorschlag eines robusten Wahrnehmungs- und Kontrollstacks: Keine Notwendigkeit für Residuenschätzungsabstimmung mit Grundwahrheitsdaten; Beweis der Anpassungsfähigkeit an verschiedene Lichtverhältnisse
  3. Veröffentlichung eines professionellen Flugdatensatzes: Enthält 6 Flüge von Weltmeister-Piloten mit einer Gesamtflugzeit von 240,77 Sekunden, einer Flugstrecke von 2342,98 Metern und einer Höchstgeschwindigkeit von 21,29 m/s
  4. Überprüfung der Mensch-Maschine-Wettbewerbsleistung: Direkter Wettbewerb mit Weltklasse-Piloten in verschiedenen Szenarien, Demonstration der Praktikabilität des Systems

Methodische Details

Aufgabendefinition

Eingabe: Stereokamera-Bildstrom, IMU-Daten, Informationen zur Torposition auf der Rennstrecke Ausgabe: Drohnen-Steuerbefehle (kollektiver Schub und Körperwinkelgeschwindigkeit) Einschränkungen: Echtzeitanforderungen, dynamische Grenzen, Hindernisvermeidung

Modellarchitektur

1. Wahrnehmungs-Stack (Vision Stack)

  • Tor-Erkennung: Verwendung des YOLOv8n-Modells (3,2 Millionen Parameter) zur Erkennung von Rennstrecken-Toren
  • Eckpunkt-Erkennung: Verwendung des verbesserten MobileNetV3-Small-Modells (1,1 Millionen Parameter) zur Erkennung der vier inneren Ecken des Tors
  • Optimierungsstrategien:
    • Konvertierung zu ONNX-Graphen und TensorRT-Engine
    • Beschleunigung mit FP16-Präzision
    • Verzögerung pro Frame: 24-30 ms

2. Zustandsschätzungs-Stack (State Estimation Stack)

  • VIO-Grundlage: Intel T265 Stereokamera bietet visuell-inertiale Odometrie
  • Drift-Korrektur: 
    Zustandsvektor: x = p_d^T ∈ R³ (Positionsdrift-Vektor)
Zustandspropagation: x_{k+1} = Fx_k, P_{k+1} = FP_kF^T + Q
Kalman-Update: K_k = P_k^-H^T(HP_k^-H^T + R)^{-1}
  • IMU-Fusion: Verwendung eines erweiterten Kalman-Filters zur Fusion von 500-Hz-IMU-Daten

3. Kontroll-Stack (Control Stack)

  • Zeitoptimale Trajektorienerzeugung: Berücksichtigung von starrer Körperdynamik und Aktuatorbeschränkungen
  • Modellprädiktive Regelung: Basierend auf dem PAMPC-Framework mit deaktiviertem Wahrnehmungsziel
  • Verzögerungskompensation: Integration eines Zustandsprädiktors zur Kompensation von Berechnungs- und Ausführungsverzögerungen

Technische Innovationen

  1. Keine Grundwahrheits-Feinabstimmung erforderlich: Im Gegensatz zu bestehenden Methoden ist das System nicht auf externe Tracking-Daten für die Zustandsschätzungsabstimmung angewiesen
  2. Hochfrequente IMU-Integration: Realisierung von 500-Hz-IMU-Datenauslesung durch optimiertes MSP-Protokoll, signifikante Verbesserung gegenüber 10-Hz-SBUS-Protokoll
  3. Robuste Bildverarbeitung:
    • Feste Belichtungseinstellung zur Reduzierung von Bewegungsunschärfe
    • Modell-Destillationsmethode zur Reduzierung von Annotationsanforderungen (nur 80 Frames manuelle Annotation erforderlich)
  4. Echtzeitoptimierung:
    • Echtzeit-Linux-Kernel-Konfiguration
    • GPU-beschleunigte Inferenz
    • Optimierte Datenflusarchitektur

Experimentelle Einrichtung

Datensatz

  1. Instrumentierte Rennstrecke:
    • Rekonstruktion basierend auf RATM-Datensatz
    • 32-Kamera-Qualisys-MoCap-System bietet Grundwahrheit
    • Enthält enge Kurven, Spiralabschnitte und Split-S-Manöver
  2. Nicht instrumentierte Rennstrecke:
    • Rekonstruktion der Track-Split-S-Rennstrecke
    • Verwendung von Totalstation für Positionierung (Zentimeter-Genauigkeit)
    • Natürliche Lichtwechselbedingungen

Bewertungsmetriken

  • Rundenzeit: Zeit zum Abschluss einer einzelnen Runde
  • Höchstgeschwindigkeit: Spitzengeschwindigkeit während des Fluges
  • Flugstrecke: Länge der tatsächlichen Flugbahn
  • Konsistenz: Standardabweichung mehrerer Flüge
  • Zuverlässigkeit: Erfolgsquote und Anzahl der Kollisionen

Vergleichsmethoden

  • Professionelle Piloten: 3 Berufspiloten, einschließlich Weltmeister MCK
  • Externes Tracking: Autonomer Flug mit MoCap-System
  • Nur Bordmittel: Autonomer Flug mit nur Bordmittel-Sensoren

Implementierungsdetails

  • Hardware-Plattform: NVIDIA Orin NX + Intel RealSense T265
  • Schub-Gewichts-Verhältnis: ~7:1 (volle Batteriekapazität)
  • Gewicht: 665,5 g (ohne Batterie)
  • Kommunikation: 1 MBaud MSP-Serienverbindung

Experimentelle Ergebnisse

Hauptergebnisse

Leistung auf instrumentierter Rennstrecke

SystemDurchschn. Rundenzeit (s)Beste Rundenzeit (s)Höchstgeschwindigkeit (m/s)Kollisionen
MCK (Weltmeister)4,71±1,253,8424,965
Autonomes System (MoCap)4,44±0,114,3922,280
Autonomes System (VIO)4,65±0,224,4022,20

Leistung auf nicht instrumentierter Rennstrecke

SystemDurchschn. Rundenzeit (s)Beste Rundenzeit (s)Kollisionen
MCK5,80±0,405,052
Autonomes System6,02±0,065,924

Ablationsstudien

  1. VIO vs. MoCap: Verwendung von nur Bordmittel-VIO im Vergleich zu externem Tracking zeigt nur 4,7% langsamere durchschnittliche Rundenzeit
  2. Drift-Korrektur-Effekt: Kalman-Filterung verbessert signifikant die Positionsschätzungsgenauigkeit bei längeren Flügen
  3. IMU-Fusions-Beitrag: 500-Hz-IMU-Datenfusion bietet glattere Zustandsschätzung

Fallstudien

  • Split-S-Manöver: Autonomes System zeigt hervorragende Leistung in begrenztem Raum mit überlegener Trajektorienkonsistenz gegenüber menschlichen Piloten
  • Spiralabschnitt: Von menschlichen Piloten als kritischer Leistungsbereich identifiziert; autonomes System erreicht Wettbewerbsleistung durch Trajektorienoptimierung
  • Haarnadelkurve: Wird zur Hauptleistungsbeschränkung des autonomen Systems; erfordert konservative Schub-Gewichts-Verhältnis-Einstellung

Experimentelle Erkenntnisse

  1. Konsistenz-Vorteil: Autonomes System zeigt signifikant bessere Konsistenz (kleinere Standardabweichung)
  2. Umweltadaptivität: System passt sich erfolgreich an verschiedene Lichtverhältnisse und Streckenlayouts an
  3. Mensch-Maschine-Interaktions-Herausforderungen: Bei gemeinsamen Streckenwettbewerben ist das autonome System anfälliger für Kollisionen

Verwandte Arbeiten

Hauptforschungsrichtungen

  1. AlphaPilot-Herausforderung (2019): Bahnbrechendes KI-Drohnenrennen
  2. Tiefe Verstärkungslernmethoden: Kaufmann et al. zeigten 2023 menschliche Leistung übertreffende Ergebnisse
  3. Datensatzkonstruktion: RATM-Datensatz bietet Benchmark für Algorithmusentwicklung

Vorteile dieses Papiers

  • Validierung in realer Umgebung: Erste Realisierung professioneller Leistung in nicht instrumentierten Umgebungen
  • Praktische Ausrichtung: Unabhängigkeit von externen Tracking-Systemen, näher an praktischen Anwendungsszenarien
  • Systemvollständigkeit: Bietet vollständige Lösung von Wahrnehmung bis Kontrolle

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Autonome Drohnensysteme können in nicht instrumentierten Umgebungen das Niveau professioneller Piloten erreichen
  2. Angemessene technische Optimierung und Systemintegration sind wichtiger als komplexe Algorithmen
  3. Konsistenz ist der Hauptvorteil autonomer Systeme gegenüber Menschen

Einschränkungen

  1. Herausforderungen im gemeinsamen Raum: Unzureichende Anpassungsfähigkeit bei hybriden Mensch-Maschine-Wettbewerben
  2. Umweltverallgemeinerung: Erfordert immer noch geringe Datenmengen für Umweltanpassung
  3. Grenzleistung: Bleibt bei besten Rundenzeiten leicht hinter Top-Piloten zurück

Zukünftige Richtungen

  1. Übergang von Stereokamera zu Monokamera, näher am menschlichen Sehsystem
  2. Verbesserung der Multi-Agent-Interaktion und Kollisionsvermeidung
  3. Verbesserung der Sim-to-Real-Transferfähigkeit

Tiefgreifende Bewertung

Stärken

  1. Hoher praktischer Wert: Schließt kritische Lücke vom Labor zu realen Anwendungen
  2. Technische Vollständigkeit: Bietet detaillierte Hardware- und Software-Implementierungsdetails
  3. Umfassende Bewertung: Enthält mehrdimensionale quantitative und qualitative Bewertungen
  4. Datentransparenz: Veröffentlichung hochwertiger Flugdatensätze

Mängel

  1. Begrenzte algorithmische Innovation: Hauptsächlich technische Integration bestehender Technologien
  2. Unzureichende theoretische Analyse: Mangel an theoretischer Analyse der Systemleistungsgrenzen
  3. Szenario-Einschränkungen: Validierung nur auf indoor-strukturierten Rennstrecken

Einfluss

  1. Förderung der Industrialisierung: Wichtige Referenz für Kommerzialisierung autonomer Drohnentechnologie
  2. Benchmark-Bedeutung: Etabliert Leistungs-Benchmark in nicht instrumentierten Umgebungen
  3. Open-Source-Beitrag: Offene Datensätze und Code fördern Feldentwicklung

Anwendungsszenarien

  • Indoor-Lager- und Logistikanwendungen
  • Infrastrukturprüfung
  • Suchungs- und Rettungsmissionen
  • Unterhaltungs- und Sportwettbewerbe

Literaturverzeichnis

1 Hanover, D., et al. "Autonomous drone racing: A survey." IEEE Transactions on Robotics, 2024. 2 Kaufmann, E., et al. "Champion-level drone racing using deep reinforcement learning." Nature, 2023. 3 Bosello, M., et al. "Race against the machine: A fully-annotated, open-design dataset." IEEE RAL, 2024.

Gesamtbewertung: Dies ist ein ingenieurorientiertes Papier mit wichtigem praktischem Wert, das Labortechnologie erfolgreich in ein praktisch einsetzbares System umwandelt. Obwohl die algorithmische Innovation relativ begrenzt ist, sind seine Beiträge in der Validierung in realen Umgebungen und der Systemtechnik von großer Bedeutung für die Förderung der Industrialisierung autonomer Drohnentechnologie.