ASTREA: 궤도 열 자율성을 위한 에이전트 지능 도입

기본 정보

• 논문 ID: 2509.13380
• 제목: ASTREA: Introducing Agentic Intelligence for Orbital Thermal Autonomy
• 저자: Alejandro D. Mousist (Thales Alenia Space, Tres Cantos, Spain)
• 분류: cs.RO cs.AI cs.LG cs.MA cs.SY eess.SY
• 발표 시간: 2025년 10월 11일 (arXiv v2)
• 논문 링크: https://arxiv.org/abs/2509.13380

초록

본 논문은 비행급 하드웨어(TRL 9)에서 실행되며 국제우주정거장(ISS)에서 궤도상 운영 검증을 거친 우주선 자율 운영을 위한 첫 번째 에이전트 시스템인 ASTREA를 제시합니다. 열 제어를 대표적인 사용 사례로 하여, 본 시스템은 자원 제약이 있는 대규모 언어 모델(LLM) 에이전트와 강화학습 제어기를 우주급 플랫폼에 맞춤화된 비동기 아키텍처에 통합합니다. 지상 실험에서는 LLM 기반 감독이 열 안정성을 개선하고 위반 사항을 감소시켰으며, 하드웨어 제약 하에서 의미론적 추론과 적응형 제어를 결합하는 것의 타당성을 확인했습니다. ISS의 궤도상 검증은 초기에 추론 지연과 저지구궤도(LEO) 위성의 빠른 열 순환 불일치 문제에 직면했습니다. 궤도 길이와 동기화한 후 기준선을 초과하여 위반 횟수를 감소시키고, 운영 시간을 연장하며, CPU 활용률을 개선했습니다.

연구 배경 및 동기

문제 정의

1. 우주 자율 운영의 필요성: 달 임무 및 지구 궤도 임무의 발전에 따라 최소한의 인적 개입으로 운영할 수 있는 우주 시스템이 필요하며, 특히 통신 지연이 직접적인 지상 감시를 방해하는 환경에서 그러합니다.
2. 열 제어의 복잡성: 열 제어는 제한된 계산 자원을 실시간으로 관리하면서 모든 전자 부품의 운영 무결성을 유지해야 하는 중요한 부분 시스템입니다. 기존 방법은 사전 프로그래밍된 규칙과 지상 감시에 의존하며, 동적 열 부하에 대응할 유연성이 부족합니다.
3. 하드웨어 자원 제약: 대규모 언어 모델은 상당한 하드웨어 자원을 필요로 하는데, 이는 방사선 내성을 유지하고 전력, 크기 및 온도의 엄격한 제약 하에서 운영해야 하는 임베디드 환경과 충돌합니다.

연구의 의의

• 기술적 돌파: 실제 비행 환경에서 LLM 기반 에이전트 감독 시스템을 처음으로 배포
• 실용적 가치: 향후 자율 우주선을 위한 확장 가능한 에이전트 감독 아키텍처 구축
• 이론적 기여: 우주 제약 환경에서 의미론적 추론과 적응형 제어의 결합 탐색

기존 방법의 한계

1. Space Llama: 에이전트 행동이 부족하며 우주비행사의 수동 사용에만 사용됨
2. LLMSat 및 AI Space Cortex: 주로 지상 시뮬레이션 환경에서 검증되었으며 실제 비행 검증이 없음
3. 기존 열 제어: 사전 설정된 규칙에 의존하며 상황별 설명과 적응성이 부족함

핵심 기여

1. 첫 번째 비행급 에이전트 시스템: TRL 9 하드웨어에서 구현되고 ISS에서 검증된 첫 번째 LLM 기반 에이전트 감독 시스템
2. 혼합 비동기 아키텍처: 강화학습의 효율성과 언어 모델의 해석 가능성을 결합한 혼합 설계 제시
3. 궤도 동기화 전략: 궤도 주기와 동기화된 추론 윈도우가 지연 제약을 극복할 수 있음을 발견 및 검증
4. 실제 성능 향상: 지상 실험에서 운영 시간 67.2% 증가 및 열 위반 58.5% 감소 달성
5. 우주 AI 설계 지침: 향후 LEO 자율 시스템을 위한 실용적인 설계 지침 원칙 제공

방법 상세 설명

작업 정의

입력: 온보드 온도 센서 데이터, CPU 활용률 상태, 열 구배 정보 출력: 강화학습 에이전트의 탐색-활용 균형을 최적화하기 위한 동적 조정 엔트로피 계수(α) 제안 제약 조건:

• 온도 임계값 제한 (지상 60°C, 궤도상 57°C)
• 단일 코어 계산 자원 (코어 0 에이전트 시스템 전용)
• 추론 지연 (40초에서 8분 범위)

모델 아키텍처

전체 시스템 설계

ASTREA는 이중 에이전트 비동기 아키텍처를 채택합니다:

1. RL 에이전트 (실시간 계층):
   • Soft Actor-Critic (SAC) 알고리즘 기반
   • 온보드 온도 지속적 모니터링
   • 15개 CPU 코어의 자원 가용성 실시간 조정
   • 코어 주파수 및 전원 상태 관리
2. LLM 에이전트 (감독 계층):
   • 양자화된 Qwen2.5 모델 사용 (15.4억 매개변수, 4비트 양자화)
   • Llama.cpp를 통한 온디바이스 추론
   • 의미론적 추론 및 상황별 인식 매개변수 조정 제안 제공

통신 메커니즘

RL 에이전트 → 비동기 큐 → LLM 에이전트
         ↓
    운영 요약 (반복 횟수, 위험 영역 단계, 평균 열 구배)
         ↓
LLM 에이전트 → 비동기 큐 → RL 에이전트  
         ↓
    α 계수 제안 (도구 호출을 통해 생성)

주요 기술 구성 요소

1. 강화학습 에이전트

• 상태 공간: 온도 센서 판독값, CPU 주파수, 위험 비율
• 행동 공간: 15개 코어의 주파수 및 전원 상태 조정
• 보상 함수: 기본 생존 보상 + 열 안전 보상
• 새로운 관측 특성: 위험 비율 (10% 임계값 내 센서 비율)

2. LLM 에이전트 도구 세트

• increase_exploration: α ∈ 0.4, 0.8
• moderate_exploration: α ∈ 0.2, 0.4
• decrease_exploration: α ∈ 0.05, 0.2
• keep_alpha: 현재 값 유지
• reset_alpha: 기본값으로 재설정 (0.2)

기술 혁신 포인트

1. 비동기 분리 설계: LLM 추론 지연이 실시간 제어에 영향을 주지 않도록 하여 시스템 안전성 보장
2. 의미론적 매개변수 조정: LLM의 상황별 이해 능력을 활용하여 RL 에이전트의 탐색 전략 최적화
3. 궤도 주기 정렬: LEO 환경의 주기적 특성을 발견하고 활용하여 에이전트 동기화
4. 엣지 컴퓨팅 적응: 우주급 하드웨어 제약에 맞춘 모델 양자화 및 추론 전략 최적화

실험 설정

실험 환경

1. 지상 실험실

• 능동형 팬 냉각이 장착된 소형 랙 구성
• 낮 10시간 온도 제어, 밤 자연 온도 변동
• 60분 시간 윈도우에서 운영 요약 수집

2. ISS 궤도상 배포

• 콜럼버스 모듈 외부 탑재 플랫폼
• 90분 궤도 주기 (45분 일광 + 45분 그림자)
• 수동형 열 파이프 방열, 능동형 냉각 없음
• 두 가지 구성: 15분 단기 주기 vs 90분 궤도 주기

하드웨어 플랫폼

• 프로세서: 64비트 ARM 아키텍처, 16코어 Cortex-A72
• 메모리: 16GB LPDDR4
• 주파수 범위: 1.0-2.0 GHz 동적 조절
• 제약: 전용 하드웨어 가속기 없음, 코어 0 ASTREA 전용

평가 지표

1. 열 위반 횟수: 온도 임계값을 초과한 인스턴스 수
2. 평균 운영 시간: 열 제어 운영의 평균 지속 시간 (시간 단계)
3. CPU 활용률 효율: 주파수 스케일링을 고려한 남은 계산 능력의 역수

비교 방법

기준선 시스템: Stable Baselines3 기본 적응형 α 스케줄을 사용하는 순수 SAC 에이전트로, 외부 개입이나 성능 피드백이 없습니다.

실험 결과

지상 실험 주요 결과

궤도상 실험 결과

단기 주기 실험 (15분 윈도우)

궤도 주기 실험 (90분 윈도우)

주요 발견 사항

1. 시간 동기화의 중요성: 추론 주기가 환경 동역학과 맞지 않을 때 성능이 현저히 저하됨
2. 궤도 정렬 전략: 90분 윈도우와 ISS 궤도 동기화가 최적 성능 달성
3. 추론 지연 영향: LLM 응답 시간 40초에서 8분으로, 실시간 제어 루프에 부적합함을 확인
4. 초기 우위 효과: LLM 기반 지침이 초기에 현저한 개선을 제공하고 장기적으로 안정적 우위 유지

관련 연구

우주 LLM 응용

• Space Llama: ISS에 배포된 첫 번째 오픈소스 LLM이지만 자율 제어 능력 부족
• LLMSat: LLM을 우주선 고급 제어 시스템으로 제시하나 시뮬레이션 환경에서만 검증
• AI Space Cortex: 극한 환경을 위한 해석 가능한 자율 프레임워크로 지상 테스트 플랫폼에서 검증

LLM-RL 혼합 시스템

Schoepp 등의 분류에 따르면 RL에서 LLM의 세 가지 역할:

1. 에이전트: LLM이 정책으로 직접 의사결정
2. 계획자: LLM이 복잡한 작업을 부작업으로 분해
3. 보상 모델: LLM이 보상 신호 생성 또는 평가

ASTREA는 네 번째 모드를 채택합니다: 감독자로, LLM이 매개변수 조정 제안을 제공하면서 RL 에이전트는 운영 독립성 유지.

기술적 차별화

• 안전성 고려: LLM 환각이 중요한 의사결정에 영향을 주지 않도록 방지
• 하드웨어 적응: 우주급 제약에 맞춘 양자화 모델 최적화
• 실시간성 보장: 비동기 아키텍처가 제어 시스템 응답성 확보

결론 및 논의

주요 결론

1. 기술적 타당성: 비행급 하드웨어에서 에이전트 시스템 배포의 타당성 입증
2. 성능 향상: 적절한 구성 하에서 열 제어 성능의 현저한 개선 달성 가능
3. 시간 일치 원칙: LLM 추론 주기는 환경 동역학 시간 규모와 일치해야 함
4. 아키텍처 설계 지침: 비동기 분리가 우주 응용에서 LLM-RL 통합의 핵심

한계

1. 하드웨어 제약: 현재 비행급 하드웨어는 가장 강력한 언어 모델을 지원할 수 없음
2. 추론 지연: 단일 코어 계산 제한으로 인한 현저한 응답 지연
3. 상황별 제한: 짧은 상황별 길이와 구조화된 프롬프트 유지 필요
4. 다중 에이전트 확장: 단일 LLM 에이전트의 지연이 다중 에이전트 구성에서 병목이 될 수 있음

향후 방향

1. 하드웨어 가속: 우주급 가속기가 성능을 근본적으로 변경할 수 있음
2. 영역 특화 모델: 열 관리 전문 모델이 상황별 이해 향상 가능
3. 매개변수 확장: α 계수 외 다른 제어 매개변수 또는 적응형 보상 형성
4. 다중 에이전트 협력: 다중 LLM 에이전트의 협력 감독 아키텍처 탐색

심층 평가

장점

1. 개척적 의의: 실제 비행 환경에서 에이전트 시스템을 처음 검증하여 이정표적 가치 보유
2. 공학적 실용성: 하드웨어 제약을 충분히 고려하여 배포 가능한 솔루션 제공
3. 실험의 충분성: 지상 및 궤도상 이중 검증으로 다양한 구성 비교 분석
4. 이론적 기여: LLM 추론 주기와 환경 동역학 일치의 설계 원칙 수립
5. 기술 혁신: 비동기 아키텍처가 지연과 안전성의 모순을 교묘히 해결

부족한 점

1. 표본 규모: 실험 주기가 상대적으로 짧아 장기 안정성 검증 필요
2. 환경 단일성: 열 제어 시나리오에서만 검증되어 다른 부분 시스템 적용성 미지수
3. 모델 한계: 양자화 모델의 추론 능력이 완전한 모델에 비해 제한적
4. 비용 효율: 기존 방법 대비 계산 오버헤드 및 복잡성 증가

영향력

1. 학술적 가치: 우주 AI 응용에 중요한 실증적 기초 제공
2. 산업적 의의: 항공우주 산업의 자율화 발전에 기술 경로 제시
3. 재현성: 상세한 구현 세부 사항과 오픈소스 도구로 재현 지원
4. 확장 잠재력: 아키텍처 설계가 우수한 확장성과 적응성 보유

적용 시나리오

1. 심우주 탐사: 통신 지연 환경에서의 자율 의사결정 지원
2. 소형 위성 별자리: 자원 제약 환경에서의 지능형 감독
3. 유인 우주 비행: 우주비행사를 위한 지능형 보조 시스템 제공
4. 지상 엣지 컴퓨팅: 자원 제약 환경에서의 혼합 지능 시스템

참고 문헌

1. Callejo, E., et al. (2023). Imagin-e: The first step towards extending the cloud into space.
2. Booz Allen Hamilton and Meta (2025). Booz allen and meta launch space llama.
3. Maranto, D. (2024). Llmsat: A large language model-based goal-oriented agent for autonomous space exploration.
4. Touma, T., et al. (2025). Ai space cortex: An experimental system for future era space exploration.
5. Yang, A., et al. (2024). Qwen2 technical report.

종합 평가: 본 논문은 우주 AI 응용 분야에서 개척적 의의를 가지며, 엄밀한 실험 설계와 충분한 검증을 통해 향후 지능형 우주선 발전의 견고한 기초를 마련했습니다. 일부 기술적 한계가 있지만 공학적 가치와 학술적 기여가 현저하여 심층적 연구와 추가 발전의 가치가 충분합니다.