2025-11-21T23:34:16.264289

On Your Own: Pro-level Autonomous Drone Racing in Uninstrumented Arenas

Bosello, Pinzarrone, Kiade et al.
Drone technology is proliferating in many industries, including agriculture, logistics, defense, infrastructure, and environmental monitoring. Vision-based autonomy is one of its key enablers, particularly for real-world applications. This is essential for operating in novel, unstructured environments where traditional navigation methods may be unavailable. Autonomous drone racing has become the de facto benchmark for such systems. State-of-the-art research has shown that autonomous systems can surpass human-level performance in racing arenas. However, direct applicability to commercial and field operations is still limited as current systems are often trained and evaluated in highly controlled environments. In our contribution, the system's capabilities are analyzed within a controlled environment -- where external tracking is available for ground-truth comparison -- but also demonstrated in a challenging, uninstrumented environment -- where ground-truth measurements were never available. We show that our approach can match the performance of professional human pilots in both scenarios. We also publicly release the data from the flights carried out by our approach and a world-class human pilot.
academic

Sobre Tu Propio: Carreras Autónomas de Drones a Nivel Profesional en Arenas sin Instrumentación

Información Básica

  • ID del Artículo: 2510.13644
  • Título: On Your Own: Pro-level Autonomous Drone Racing in Uninstrumented Arenas
  • Autores: Michael Bosello, Flavio Pinzarrone, Sara Kiade, Davide Aguiari, Yvo Keuter, Aaesha AlShehhi, Gyordan Caminati, Kei Long Wong, Ka Seng Chou, Junaid Halepota, Fares Alneyadi, Jacopo Panerati, Giovanni Pau
  • Clasificación: cs.RO (Robótica)
  • Fecha de Publicación: 15 de octubre de 2025
  • Enlace del Artículo: https://arxiv.org/abs/2510.13644

Resumen

La tecnología de drones se está desarrollando rápidamente en múltiples industrias como agricultura, logística, defensa, infraestructura y monitoreo ambiental. La autonomía basada en visión es un factor impulsor clave, particularmente para aplicaciones del mundo real. Esto es esencial para operar en entornos novedosos y no estructurados donde los métodos de navegación tradicionales pueden no estar disponibles. Las carreras autónomas de drones se han convertido en el estándar de facto para evaluar tales sistemas. Investigaciones recientes demuestran que los sistemas autónomos pueden superar el desempeño a nivel humano en pistas de carreras. Sin embargo, la aplicación directa a operaciones comerciales y de campo sigue siendo limitada, ya que los sistemas actuales generalmente se entrenan y evalúan en entornos altamente controlados. Este artículo analiza y demuestra las capacidades del sistema tanto en entornos controlados (con seguimiento externo disponible para comparación de verdad fundamental) como en entornos desafiantes sin instrumentación (donde nunca hay mediciones de verdad fundamental disponibles). La investigación demuestra que el método puede igualar el desempeño de pilotos humanos profesionales en ambos escenarios.

Antecedentes e Motivación de la Investigación

  1. Problema a Resolver: Aunque los sistemas autónomos de carreras de drones existentes pueden superar el desempeño humano en entornos controlados, enfrentan desafíos en aplicaciones prácticas, particularmente en entornos sin instrumentación donde no hay sistemas de seguimiento externo.
  2. Importancia del Problema:
    • La aplicación generalizada de la tecnología de drones en múltiples industrias requiere autonomía confiable en entornos no estructurados
    • El despliegue en el mundo real típicamente carece de sistemas de posicionamiento externo preciso
    • Es necesario verificar la robustez de los sistemas autónomos en condiciones reales
  3. Limitaciones de los Métodos Existentes:
    • Dependencia de entornos altamente controlados y sistemas de seguimiento externo
    • Requieren datos de verdad fundamental para ajuste fino del sistema
    • Desempeño inestable ante cambios de iluminación y entornos desconocidos
  4. Motivación de la Investigación: Desarrollar sistemas autónomos de drones capaces de lograr desempeño a nivel profesional en entornos sin instrumentación, impulsando la tecnología hacia aplicaciones comerciales prácticas.

Contribuciones Principales

  1. Implementación de Carreras Autónomas de Drones a Nivel Profesional: Se alcanzó desempeño profesional tanto en entornos controlados (con seguimiento externo) como en entornos sin instrumentación (sin mediciones de verdad fundamental)
  2. Propuesta de un Stack Robusto de Percepción y Control: No requiere ajuste fino de estimación residual utilizando datos de verdad fundamental, y demuestra adaptabilidad a múltiples condiciones de iluminación
  3. Publicación de un Conjunto de Datos de Vuelo a Nivel Profesional: Contiene 6 vuelos de pilotos campeones mundiales, con tiempo total de vuelo de 240.77 segundos, distancia de vuelo de 2342.98 metros y velocidad máxima de 21.29 m/s
  4. Verificación del Desempeño en Competencia Humano-Máquina: Competencia directa con pilotos de clase mundial en múltiples escenarios, demostrando la practicidad del sistema

Explicación Detallada de la Metodología

Definición de la Tarea

Entrada: Flujo de imágenes de cámara estéreo, datos de IMU, información de posición de puertas de la pista Salida: Comandos de control del dron (empuje colectivo y velocidad angular del cuerpo) Restricciones: Requisitos de tiempo real, limitaciones dinámicas, requisitos de evitación de obstáculos

Arquitectura del Modelo

1. Stack de Visión (Vision Stack)

  • Detección de Puertas: Utiliza modelo YOLOv8n (3.2 millones de parámetros) para detectar puertas de la pista
  • Detección de Esquinas: Utiliza modelo MobileNetV3-Small mejorado (1.1 millones de parámetros) para detectar las cuatro esquinas interiores de las puertas
  • Estrategia de Optimización:
    • Conversión a gráficos ONNX y motores TensorRT
    • Aceleración con precisión FP16
    • Latencia por fotograma de 24-30 ms

2. Stack de Estimación de Estado (State Estimation Stack)

  • Base VIO: Cámara estéreo Intel T265 proporciona odometría visual-inercial
  • Corrección de Deriva:
    Vector de estado: x = p_d^T ∈ R³ (vector de deriva de posición)
    Propagación de estado: x_{k+1} = Fx_k, P_{k+1} = FP_kF^T + Q
    Actualización de Kalman: K_k = P_k^-H^T(HP_k^-H^T + R)^{-1}
    
  • Fusión de IMU: Utiliza filtro de Kalman extendido para fusionar datos de IMU a 500 Hz

3. Stack de Control (Control Stack)

  • Generación de Trayectoria Óptima en Tiempo: Considera dinámicas de cuerpo rígido y restricciones de actuadores
  • Control Predictivo de Modelo: Basado en marco PAMPC, con objetivos de percepción deshabilitados
  • Compensación de Latencia: Integra predictor de estado para compensar latencia de cálculo y ejecución

Puntos de Innovación Técnica

  1. Sin Ajuste Fino de Verdad Fundamental: A diferencia de métodos existentes, el sistema no depende de datos de seguimiento externo para ajuste fino de estimación de estado
  2. Integración de IMU de Alta Frecuencia: Logra lectura de datos de IMU a 500 Hz mediante protocolo MSP optimizado, mejora significativa comparada con protocolo SBUS de 10 Hz
  3. Procesamiento de Visión Robusto:
    • Configuración de exposición fija reduce desenfoque de movimiento
    • Método de destilación de modelo reduce requisitos de anotación (solo requiere 80 fotogramas anotados manualmente)
  4. Optimización de Desempeño en Tiempo Real:
    • Configuración de kernel Linux en tiempo real
    • Inferencia acelerada por GPU
    • Arquitectura de flujo de datos optimizada

Configuración Experimental

Conjunto de Datos

  1. Pista Instrumentada:
    • Reconstruida basada en conjunto de datos RATM
    • Sistema Qualisys MoCap de 32 cámaras proporciona verdad fundamental
    • Incluye giros cerrados, segmentos en espiral y maniobras Split-S
  2. Pista sin Instrumentación:
    • Pista Split-S reconstruida
    • Posicionamiento con estación total (precisión a nivel de centímetro)
    • Condiciones de cambio de iluminación natural

Métricas de Evaluación

  • Tiempo de Vuelta: Tiempo para completar una vuelta
  • Velocidad Máxima: Velocidad máxima alcanzada durante el vuelo
  • Longitud de Trayectoria: Longitud real de la trayectoria de vuelo
  • Consistencia: Desviación estándar de múltiples vuelos
  • Confiabilidad: Tasa de finalización exitosa y número de colisiones

Métodos de Comparación

  • Pilotos Profesionales: 3 pilotos profesionales, incluyendo campeón mundial MCK
  • Seguimiento Externo: Vuelo autónomo utilizando sistema MoCap
  • Solo Embarcado: Vuelo autónomo utilizando solo sensores embarcados

Detalles de Implementación

  • Plataforma de Hardware: NVIDIA Orin NX + Intel RealSense T265
  • Relación Empuje-Peso: ~7:1 (capacidad de batería completa)
  • Peso: 665.5 g (sin batería)
  • Comunicación: Conexión serial MSP de 1 MBaud

Resultados Experimentales

Resultados Principales

Desempeño en Pista Instrumentada

SistemaTiempo Promedio de Vuelta (s)Mejor Vuelta (s)Velocidad Máxima (m/s)Colisiones
MCK (Campeón Mundial)4.71±1.253.8424.965
Sistema Autónomo (MoCap)4.44±0.114.3922.280
Sistema Autónomo (VIO)4.65±0.224.4022.20

Desempeño en Pista sin Instrumentación

SistemaTiempo Promedio de Vuelta (s)Mejor Vuelta (s)Colisiones
MCK5.80±0.405.052
Sistema Autónomo6.02±0.065.924

Experimentos de Ablación

  1. VIO vs MoCap: Utilizando solo VIO embarcado comparado con seguimiento externo, el tiempo promedio de vuelta es solo 4.7% más lento
  2. Efecto de Corrección de Deriva: El filtro de Kalman mejora significativamente la precisión de estimación de posición para vuelos de larga duración
  3. Contribución de Fusión de IMU: La fusión de datos de IMU a 500 Hz proporciona estimación de estado más suave

Análisis de Casos

  • Maniobra Split-S: El sistema autónomo muestra excelente desempeño en espacios restringidos, con consistencia de trayectoria superior a pilotos humanos
  • Segmento en Espiral: Identificado por pilotos humanos como región de desempeño crítico, el sistema autónomo logra desempeño competitivo mediante optimización de trayectoria
  • Curva de Horquilla: Se convierte en factor limitante principal para el sistema autónomo, requiriendo configuración conservadora de relación empuje-peso

Hallazgos Experimentales

  1. Ventaja de Consistencia: El sistema autónomo demuestra consistencia significativamente mejor (desviación estándar menor)
  2. Adaptabilidad Ambiental: El sistema se adapta exitosamente a diferentes condiciones de iluminación y disposiciones de pista
  3. Desafíos de Interacción Humano-Máquina: En competencia en pista compartida, el sistema autónomo es más vulnerable a colisiones

Trabajo Relacionado

Direcciones de Investigación Principales

  1. Desafío AlphaPilot (2019): Competencia pionera de carreras de drones con IA
  2. Métodos de Aprendizaje por Refuerzo Profundo: Kaufmann et al. demostraron desempeño superior al humano en 2023
  3. Construcción de Conjuntos de Datos: Conjunto de datos RATM proporciona referencia para desarrollo de algoritmos

Ventajas de Este Artículo

  • Verificación en Entorno Real: Primera implementación de desempeño a nivel profesional en entorno sin instrumentación
  • Orientación Práctica: No depende de sistemas de seguimiento externo, más cercano a escenarios de aplicación real
  • Completitud del Sistema: Proporciona solución completa desde percepción hasta control

Conclusiones y Discusión

Conclusiones Principales

  1. Los sistemas autónomos de drones pueden alcanzar nivel de piloto profesional en entornos sin instrumentación
  2. La optimización de ingeniería apropiada e integración de sistemas es más importante que algoritmos complejos
  3. La consistencia es la ventaja principal del sistema autónomo respecto a humanos

Limitaciones

  1. Desafíos en Espacios Compartidos: Adaptabilidad insuficiente en competencia mixta humano-máquina
  2. Generalización Ambiental: Aún requiere pequeña cantidad de datos para adaptación ambiental
  3. Desempeño Extremo: Aún ligeramente inferior a pilotos de élite en mejor tiempo de vuelta

Direcciones Futuras

  1. Transición de cámara estéreo a cámara monocular, más cercano al sistema visual humano
  2. Mejora de interacción multi-agente y evitación de colisiones
  3. Mejora de capacidad de transferencia sim-to-real

Evaluación Profunda

Fortalezas

  1. Alto Valor Práctico: Resuelve la brecha crítica de laboratorio a aplicación real
  2. Completitud de Ingeniería: Proporciona detalles detallados de implementación de hardware y software
  3. Evaluación Integral: Incluye evaluación multidimensional cuantitativa y cualitativa
  4. Apertura de Datos: Publica conjunto de datos de vuelo de alta calidad

Insuficiencias

  1. Innovación Algorítmica Limitada: Principalmente integración de ingeniería de tecnología existente
  2. Análisis Teórico Insuficiente: Carece de análisis teórico de límites de desempeño del sistema
  3. Limitación de Escenarios: Verificación solo en pistas estructuradas en interiores

Impacto

  1. Impulso a Industrialización: Proporciona referencia importante para comercialización de tecnología de autonomía de drones
  2. Significado de Referencia: Establece referencia de desempeño en entorno sin instrumentación
  3. Contribución de Código Abierto: La apertura de conjunto de datos y código promoverá desarrollo del campo

Escenarios Aplicables

  • Aplicaciones de almacenamiento y logística en interiores
  • Inspección de infraestructura
  • Tareas de búsqueda y rescate
  • Entretenimiento y competencia deportiva

Referencias

1 Hanover, D., et al. "Autonomous drone racing: A survey." IEEE Transactions on Robotics, 2024. 2 Kaufmann, E., et al. "Champion-level drone racing using deep reinforcement learning." Nature, 2023. 3 Bosello, M., et al. "Race against the machine: A fully-annotated, open-design dataset." IEEE RAL, 2024.


Evaluación General: Este es un artículo orientado a la ingeniería con importante valor práctico que convierte exitosamente la tecnología de laboratorio en un sistema realmente desplegable. Aunque es relativamente limitado en innovación algorítmica, su contribución en verificación en entorno real e ingeniería de sistemas tiene importancia significativa para impulsar la industrialización de la tecnología de autonomía de drones.