On Your Own: Pro-level Autonomous Drone Racing in Uninstrumented Arenas
Bosello, Pinzarrone, Kiade et al.
Drone technology is proliferating in many industries, including agriculture, logistics, defense, infrastructure, and environmental monitoring. Vision-based autonomy is one of its key enablers, particularly for real-world applications. This is essential for operating in novel, unstructured environments where traditional navigation methods may be unavailable. Autonomous drone racing has become the de facto benchmark for such systems. State-of-the-art research has shown that autonomous systems can surpass human-level performance in racing arenas. However, direct applicability to commercial and field operations is still limited as current systems are often trained and evaluated in highly controlled environments. In our contribution, the system's capabilities are analyzed within a controlled environment -- where external tracking is available for ground-truth comparison -- but also demonstrated in a challenging, uninstrumented environment -- where ground-truth measurements were never available. We show that our approach can match the performance of professional human pilots in both scenarios. We also publicly release the data from the flights carried out by our approach and a world-class human pilot.
academic
Su di Te: Gara Autonoma di Droni a Livello Professionale in Arene Non Strumentate
Titolo: On Your Own: Pro-level Autonomous Drone Racing in Uninstrumented Arenas
Autori: Michael Bosello, Flavio Pinzarrone, Sara Kiade, Davide Aguiari, Yvo Keuter, Aaesha AlShehhi, Gyordan Caminati, Kei Long Wong, Ka Seng Chou, Junaid Halepota, Fares Alneyadi, Jacopo Panerati, Giovanni Pau
La tecnologia dei droni sta evolvendo rapidamente in numerosi settori, tra cui agricoltura, logistica, difesa, infrastrutture e monitoraggio ambientale. L'autonomia basata sulla visione è un fattore chiave di questo sviluppo, in particolare per le applicazioni nel mondo reale. Ciò è essenziale per operare in ambienti nuovi e non strutturati dove i metodi di navigazione tradizionali potrebbero non essere disponibili. La gara autonoma di droni è diventata lo standard di fatto per il benchmarking di tali sistemi. Ricerche recenti dimostrano che i sistemi autonomi possono superare le prestazioni umane nei circuiti di gara. Tuttavia, l'applicazione diretta a operazioni commerciali e sul campo rimane limitata, poiché i sistemi attuali sono generalmente addestrati e valutati in ambienti altamente controllati. Questo articolo analizza e dimostra le capacità del sistema sia in ambienti controllati (con tracciamento esterno disponibile per il confronto con la verità di base) che in ambienti non strumentati impegnativi (dove non è mai disponibile alcuna misurazione di verità di base). La ricerca dimostra che il metodo può eguagliare le prestazioni di piloti umani professionisti in entrambi gli scenari.
Problema da Risolvere: Sebbene i sistemi autonomi di gara di droni esistenti possano superare le prestazioni umane in ambienti controllati, affrontano sfide nelle applicazioni pratiche, in particolare in ambienti non strumentati privi di sistemi di tracciamento esterno.
Importanza del Problema:
L'applicazione diffusa della tecnologia dei droni in molteplici settori richiede autonomia affidabile in ambienti non strutturati
Le distribuzioni nel mondo reale generalmente mancano di sistemi di posizionamento esterno precisi
È necessario verificare la robustezza dei sistemi autonomi in condizioni reali
Limitazioni degli Approcci Esistenti:
Dipendenza da ambienti altamente controllati e sistemi di tracciamento esterno
Necessità di dati di verità di base per l'ottimizzazione fine del sistema
Prestazioni instabili in condizioni di illuminazione variabile e ambienti sconosciuti
Motivazione della Ricerca: Sviluppare sistemi di droni autonomi in grado di raggiungere prestazioni di livello professionale in ambienti non strumentati, promuovendo la transizione della tecnologia verso applicazioni commerciali pratiche.
Realizzazione di Gara Autonoma di Droni a Livello Professionale: Raggiungimento di prestazioni professionali sia in ambienti controllati (con tracciamento esterno) che in ambienti non strumentati (senza misurazioni di verità di base)
Proposta di uno Stack di Percezione e Controllo Robusto: Non richiede l'utilizzo di dati di verità di base per l'ottimizzazione fine della stima residua e dimostra adattabilità a molteplici condizioni di illuminazione
Rilascio di un Dataset di Volo a Livello Professionale: Contiene 6 voli di piloti campioni mondiali, con tempo di volo totale di 240,77 secondi, distanza di volo di 2342,98 metri e velocità massima di 21,29 m/s
Verifica delle Prestazioni Uomo-Macchina: Competizione diretta con piloti di livello mondiale in molteplici scenari, dimostrando l'applicabilità pratica del sistema
Input: Flusso di immagini da telecamera stereo, dati IMU, informazioni sulla posizione dei gate della pista
Output: Comandi di controllo del drone (spinta collettiva e velocità angolare del corpo)
Vincoli: Requisiti di tempo reale, limitazioni dinamiche, requisiti di evitamento degli ostacoli
Rilevamento dei Gate: Utilizzo del modello YOLOv8n (3,2 milioni di parametri) per il rilevamento dei gate della pista
Rilevamento degli Angoli: Utilizzo del modello MobileNetV3-Small migliorato (1,1 milioni di parametri) per il rilevamento dei quattro angoli interni dei gate
Nessuna Ottimizzazione Fine Basata sulla Verità di Base: A differenza dei metodi esistenti, il sistema non dipende da dati di tracciamento esterno per l'ottimizzazione fine della stima dello stato
Integrazione IMU ad Alta Frequenza: Realizzazione della lettura dei dati IMU a 500 Hz attraverso il protocollo MSP ottimizzato, con miglioramento significativo rispetto al protocollo SBUS a 10 Hz
Elaborazione Visiva Robusta:
Impostazioni di esposizione fissa per ridurre la sfocatura da movimento
Metodo di distillazione del modello per ridurre i requisiti di annotazione (solo 80 frame annotati manualmente)
VIO vs MoCap: Utilizzo solo di VIO a bordo rispetto al tracciamento esterno, il tempo medio di giro è solo del 4,7% più lento
Effetto della Correzione della Deriva: Il filtro di Kalman migliora significativamente la precisione della stima della posizione durante i voli di lunga durata
Contributo della Fusione IMU: La fusione dei dati IMU a 500 Hz fornisce una stima dello stato più fluida
Manovra Split-S: Il sistema autonomo mostra eccellenti prestazioni in spazi vincolati, con coerenza della traiettoria superiore ai piloti umani
Segmento a Spirale: Identificato dai piloti umani come area critica di prestazione, il sistema autonomo raggiunge prestazioni competitive attraverso l'ottimizzazione della traiettoria
Curva a Forcina: Diventa il principale fattore limitante per il sistema autonomo, richiedendo impostazioni conservative del rapporto spinta-peso
1 Hanover, D., et al. "Autonomous drone racing: A survey." IEEE Transactions on Robotics, 2024.
2 Kaufmann, E., et al. "Champion-level drone racing using deep reinforcement learning." Nature, 2023.
3 Bosello, M., et al. "Race against the machine: A fully-annotated, open-design dataset." IEEE RAL, 2024.
Valutazione Complessiva: Questo è un articolo orientato all'ingegneria con importante valore pratico che ha trasformato con successo la tecnologia di laboratorio in un sistema effettivamente distribuibile. Sebbene relativamente limitato in termini di innovazione algoritmica, il suo contributo nella verifica in ambienti reali e nell'ingegneria dei sistemi è di significativa importanza per promuovere l'industrializzazione della tecnologia autonoma dei droni.