LLM-HBT: Dynamic Behavior Tree Construction for Adaptive Coordination in Heterogeneous Robots
Wang, Sun, Zhang et al.
We introduce a novel framework for automatic behavior tree (BT) construction in heterogeneous multi-robot systems, designed to address the challenges of adaptability and robustness in dynamic environments. Traditional robots are limited by fixed functional attributes and cannot efficiently reconfigure their strategies in response to task failures or environmental changes. To overcome this limitation, we leverage large language models (LLMs) to generate and extend BTs dynamically, combining the reasoning and generalization power of LLMs with the modularity and recovery capability of BTs. The proposed framework consists of four interconnected modules task initialization, task assignment, BT update, and failure node detection which operate in a closed loop. Robots tick their BTs during execution, and upon encountering a failure node, they can either extend the tree locally or invoke a centralized virtual coordinator (Alex) to reassign subtasks and synchronize BTs across peers. This design enables long-term cooperative execution in heterogeneous teams. We validate the framework on 60 tasks across three simulated scenarios and in a real-world cafe environment with a robotic arm and a wheeled-legged robot. Results show that our method consistently outperforms baseline approaches in task success rate, robustness, and scalability, demonstrating its effectiveness for multi-robot collaboration in complex scenarios.
academic
LLM-HBT: Construcción Dinámica de Árboles de Comportamiento para Coordinación Adaptativa en Robots Heterogéneos
Este artículo propone un nuevo marco para la construcción automática de árboles de comportamiento (BT) en sistemas multi-robot heterogéneos, con el objetivo de abordar los desafíos de adaptabilidad y robustez en entornos dinámicos. Los robots tradicionales están limitados por atributos funcionales fijos, lo que impide la reconfiguración eficiente de estrategias ante fallos de tareas o cambios ambientales. Para superar esta limitación, los autores aprovechan los modelos de lenguaje grande (LLM) para generar y expandir dinámicamente árboles de comportamiento, combinando las capacidades de razonamiento y generalización del LLM con la modularidad y capacidad de recuperación del BT. El marco contiene cuatro módulos interconectados —inicialización de tareas, asignación de tareas, actualización de BT y detección de nodos de fallo— que forman un ciclo cerrado de operación. Los robots ejecutan su BT durante la ejecución, y cuando encuentran nodos de fallo, pueden expandir localmente el árbol o invocar un coordinador virtual central (Alex) para reasignar subtareas y sincronizar los BT de los compañeros.
Adaptabilidad Insuficiente: Los sistemas multi-robot tradicionales tienen dificultades para generalizar en entornos dinámicos y no estructurados, dependiendo fuertemente de priors predefinidos y datos de entrenamiento limitados
Rigidez del Marco de Decisión: Los marcos de decisión existentes son demasiado rígidos para soportar reconfiguración en línea, o demasiado frágiles para garantizar robustez a largo plazo
Desafíos de Coordinación Heterogénea: Los robots heterogéneos poseen capacidades diferentes, y cómo reconstruir y compartir colaborativamente árboles de comportamiento en tiempo de ejecución aún no se ha abordado adecuadamente
Los sistemas multi-robot tienen un enorme potencial para mejorar la eficiencia operativa, pero deben adaptarse a fallos, cambios ambientales y situaciones inesperadas en entornos dinámicos. Esto es crítico en aplicaciones prácticas como búsqueda y rescate, automatización de almacenes y robots de servicio.
Métodos Basados en LLM: Aunque demuestran fuertes capacidades de razonamiento, típicamente generan planes de tareas de una sola vez, careciendo de mecanismos de corrección en línea después de que comienza la ejecución
Métodos Basados en Árboles de Comportamiento: Proporcionan modularidad y mecanismos de recuperación, pero dependen fuertemente del diseño manual de nodos de acción y estructuras de tareas predefinidas
Falta de Marco Unificado: La investigación existente no ha integrado adecuadamente las capacidades de razonamiento semántico del LLM con la robustez estructural del BT
Marco Dinámico: Propone un marco dinámico que integra razonamiento de modelos de lenguaje grande con árboles de comportamiento para coordinación de robots heterogéneos
Mecanismo Híbrido: Diseña un mecanismo híbrido centralizado-distribuido que logra adaptación en tiempo de ejecución mediante expansión local de BT y reasignación centralizada de tareas
Nuevo Punto de Referencia: Construye un nuevo punto de referencia que abarca tareas de simulación diversas y entornos del mundo real, validando la robustez y escalabilidad del método
Ejecución de Ciclo Cerrado: Implementa un ciclo de retroalimentación cerrada de detección de fallos, razonamiento y adaptación de árboles, permitiendo que robots heterogéneos optimicen continuamente estrategias de ejecución
Considere un sistema multi-robot heterogéneo (HMRS) R = {r₁, ..., rₙ}, donde cada robot rᵢ posee un espacio de acciones:
Ai={ai1,...,aimi}
La heterogeneidad se refleja en Aᵢ ≠ Aⱼ (i ≠ j), reflejando diferencias morfológicas y de capacidades. Una tarea τ se representa por el conjunto de acciones requeridas Aτ ⊆ ⋃ᵢ Aᵢ.
Árbol de comportamiento T = (V, E, r), donde V es el conjunto de nodos, E define aristas padre-hijo, y r es el nodo raíz. Cada nodo devuelve estados Success, Failure o Running.
Lógica de ejecución del nodo de secuencia:
Seq(c1,...,cn)=⎩⎨⎧Failure,Running,Success,∃i:ci=Failure∃i:ci=Running∀i:ci=Success
Alex actúa como asignador central, manteniendo una vista compartida del estado de robots y ambiente. Cuando se reporta un nodo de fallo fᵢ, Alex recopila información de contexto e identifica robots y acciones apropiados para resolver el fallo.
El sistema almacena nodos de fallo en una cola dedicada Fₙₒ𝒹ₑₛ, en lugar de simplemente propagarlos hacia arriba y terminar la ejecución. Esto proporciona la capacidad de identificar sistemáticamente cuellos de botella de ejecución y desencadenar procesos de expansión.
Tasa de Éxito Perfecta: LLM-HBT logra una tasa de éxito del 100% en todos los escenarios, mientras que los métodos de base disminuyen significativamente con la heterogeneidad y complejidad de tareas
Mejora de Eficiencia: En el escenario más desafiante (escenario 3), el promedio de pasos de LLM-HBT (8.4) es menor que MCTS (8.80) y LLM-MCTS (9.00)
Verificación de Robustez: En el escenario 3, los métodos de base completaron exitosamente solo el 40% de tareas, mientras que LLM-HBT mantuvo una tasa de éxito del 100%
En ambiente de cafetería, un brazo robótico y un robot con ruedas colaboraron para colocar una botella en el mostrador:
Flujo de Tareas: El brazo robótico establece precondiciones para que la botella esté en el espacio de trabajo alcanzable → el robot con ruedas navega para obtener la botella → el brazo robótico completa la captura y colocación
Resultados: Los 10 ensayos fueron completamente exitosos, validando la efectividad del marco en entornos reales
Esta investigación es la primera en integrar razonamiento de LLM con construcción dinámica de BT para sistemas multi-robot heterogéneos, llenando un vacío en el campo.
El artículo cita trabajos importantes en campos relacionados, incluyendo:
Aplicaciones de árboles de comportamiento en robótica 6,7,9
Planificación multi-robot basada en LLM 14,15,16
Asignación de tareas en sistemas multi-robot heterogéneos 2,12,13
Avances recientes en diseño automático de árboles de comportamiento 10,11
Evaluación General: Este artículo propone un marco de coordinación multi-robot heterogéneo con fuerte innovación técnica y validación experimental exhaustiva. La combinación de LLM y BT proporciona nuevas perspectivas de solución para el campo, poseyendo importante valor académico y potencial práctico. A pesar de algunas limitaciones, la calidad general es alta, sentando una base sólida para investigación futura relacionada.