강화학습에서 추론 향상을 위한 다중에이전트 협력 보상 설계

기본 정보

• 논문ID: 2511.16202
• 제목: Multi-Agent Collaborative Reward Design for Enhancing Reasoning in Reinforcement Learning
• 저자: Pei Yang (Gradient), Ke Zhang (Waseda University), Ji Wang (Columbia University), Xiao Chen (Hong Kong Polytechnic University), Yuxin Tang (Rice University & Gradient Network), Eric Yang, Lynn Ai, Bill Shi (Gradient)
• 분류: cs.AI
• 발표일: 2025년 11월 20일 (arXiv 프리프린트, 심사 중)
• 논문 링크: https://arxiv.org/abs/2511.16202

초록

본 논문은 CRM(협력 보상 모델, Collaborative Reward Model) 프레임워크를 제안하며, 단일 블랙박스 보상 모델을 대체하는 조율된 전문가 평가 팀을 통해 RLHF(인간 피드백으로부터의 강화학습)의 견고성과 해석 가능성을 향상시킵니다. 기존 보상 모델은 사실성, 유용성, 안전성과 같이 잠재적으로 충돌하는 여러 선호도 차원을 동시에 최적화하기 어려우며, 점수 부여 이유에 대한 투명성이 제한적입니다. CRM은 선호도 평가를 특정 영역의 에이전트로 분해하여 이러한 문제를 해결하며, 각 에이전트는 부분 신호를 생성하고 순위 지정 및 임베딩 유사도 기반의 글로벌 평가기와 함께 작동합니다. 중앙화된 집계기는 각 시간 단계에서 이러한 신호를 융합하여 단계별 정확성, 다중에이전트 일관성 및 반복 페널티 등의 요소를 균형 있게 조정하며, 표준 RL 파이프라인과 호환되는 단일 훈련 보상을 생성합니다. 본 논문은 또한 모듈식, 해석 가능한 보상 모델링을 위한 실용적 경로를 제공하는 RewardBench 벤치마크 스위트를 소개합니다.

연구 배경 및 동기

1. 핵심 문제

대규모 언어 모델(LLMs)의 정렬은 일반적으로 RLHF 기술에 의존하며, 여기서 학습된 보상 모델이 정책을 선호 행동으로 유도합니다. 그러나 기존의 단일 스칼라 보상 모델은 다음과 같은 핵심 문제를 가집니다:

• 다차원 선호도 균형 맞추기의 어려움: 인간의 선호도는 본질적으로 다차원적이며, 사실 정확성, 일관성, 유용성 및 안전성 등의 요소를 포함하지만, 단일 스칼라 보상은 이러한 때때로 상충하는 기준 간의 균형을 쉽게 포착할 수 없습니다
• 해석 가능성 부족: 기존 보상 모델이 제공하는 통찰력은 제한적이며, 특정 출력이 높은 점수 또는 낮은 점수를 받은 이유를 이해하기 어렵습니다
• 보상 해킹 위험: 불투명성으로 인해 오류 진단이 어려워지며, 정책이 보상 함수의 허점을 이용하여 실제 의도와 불일치하지만 높은 점수를 받는 출력을 생성할 위험이 증가합니다

2. 문제의 중요성

LLMs이 중요한 응용 분야에 배포되는 것이 증가함에 따라, 모델 행동의 신뢰성, 안전성 및 해석 가능성을 보장하는 것이 매우 중요해졌습니다. 보상 모델은 정렬 파이프라인의 핵심 구성 요소로서, 그 품질이 최종 모델의 성능과 신뢰도에 직접 영향을 미칩니다.

3. 기존 방법의 한계

• 앙상블 방법: 과도한 최적화를 완화하기 위해 앙상블 기반 보상 모델을 탐색하는 연구가 있지만, 여전히 구조화된 평가 분해가 부족합니다
• 다목적 공식화: 기존 연구는 피드백을 해석 가능한 차원으로 분해하고 학습된 혼합을 통해 재집계하지만, 실시간 다중 관점 피드백 메커니즘이 부족합니다
• 자기 성찰 방법: Critique-out-Loud와 같은 방법은 점수와 비판을 출력하여 해석 가능성을 향상시키지만, 전문가 에이전트를 보상 모델링에 통합하지 않습니다

4. 연구 동기

본 논문의 핵심 동기는 보상 모델링을 단일 블랙박스 오라클에서 적응형, 해석 가능하고 확장 가능한 다중에이전트 평가 생태계로 재정의하는 것이며, 조율된 분산 평가기를 통해 더 투명하고 견고한 보상 형성을 실현하는 것입니다.

핵심 기여

1. 새로운 패러다임: RLHF를 확장하는 협력 다중에이전트 평가의 새로운 패러다임을 제안하며, 단일 블랙박스 보상 모델에 비해 해석 가능성과 견고성을 향상시킵니다
2. 구조화된 협력 메커니즘: 전문가 평가기와 중앙화된 집계기를 포함하는 MARM(다중에이전트 보상 모델) 구조화된 협력 보상 메커니즘을 설계하며, 다차원 해석 가능 신호를 표준 정책 그래디언트 방법에서 사용 가능한 단일 보상으로 융합합니다
3. RewardBench 벤치마크: 다중에이전트 선호도 주변으로 조직된 벤치마크 및 훈련 스위트를 출시하여 모듈식, 해석 가능한 보상 모델링 연구를 위한 공통 플랫폼을 제공합니다
4. 현저한 성능 향상: 복잡한 추론 작업에서 현저한 이득을 달성하며, 단일 RM 기준선에 비해 더 높은 정확성과 안정성을 보이면서 유창성과 안전성을 유지하여 다중 관점 보상 형성의 효과를 입증합니다

방법 상세 설명

작업 정의

대규모 정책 모델 πθ와 프롬프트 집합 x가 주어질 때, 모델은 다단계 추론 궤적과 최종 답변을 포함하는 구조화된 출력 o = πθ(x)를 생성합니다. 목표는 고정 스칼라 보상을 최적화하는 것이 아니라 다차원 평가 공간에서 학습하는 것입니다.

형식화된 목표는 다음과 같습니다:

max_θ E_{x~D}[F(αR_ranker(o) + βR_similarity(o) + Σ_{i=1}^K λ_i R_i(o))]

여기서:

• F(·)는 중앙 집계기로, 이질적 신호를 스칼라 보상으로 변환합니다
• {α, β, λ_i}는 훈련 중에 학습되거나 조정되는 적응형 가중치입니다
• A = {a1, a2, ..., aK}는 에이전트 집합이며, 각 에이전트 ai는 특정 평가 차원에 대해 점수 Ri(o)를 출력합니다

모델 아키텍처

1. 협력 보상 모델링(CRM)

CRM은 후훈련을 분산형, 피드백 기반 최적화 프로세스로 재구성하며, 전문가 에이전트 팀을 도입하여 상호 보완적 관점에서 대규모 모델 출력을 협력적으로 평가합니다:

네 가지 핵심 에이전트:

• 데이터 최적화기(Data Optimizer): 출력 효율성과 다양성을 정량화하며, 중복 추론 궤적을 페널티하면서 탐색 균형을 장려합니다
• 품질 평가기(Quality Assessor): 세밀한 판단을 제공하며, 추론 정확성, 사실 일관성 및 중간 단계의 논리적 연결성을 평가합니다
• 데이터 합성기(Data Synthesizer): 합성 교란을 주입하고 외부 지식을 통합하여 감독을 강화하며, 견고성과 영역 일반화 능력을 향상시킵니다
• 데이터 분석기(Data Analyzer): 보상 신호의 통계적 추세를 지속적으로 모니터링하며, 안정성을 강제하고 붕괴 또는 패턴 드리프트를 방지합니다

2. 보상 함수 설계

단계 수준 보상:

• 결과 보상(Outcome Reward): 부분 추론이 중간 기대치를 충족하는지 확인합니다
• 강화 데이터 보상(Enhanced Data Reward): 데이터 합성기가 생성한 강화 또는 반사실적 샘플을 활용하여 더 강한 감독을 제공합니다

모델 수준 보상: all-MiniLM-L6-v2 인코더를 사용하여 예측과 참조 임베딩 간의 코사인 유사도를 계산합니다:

R_sim = cos(h_pred, h_ref)

다차원 평가 구성 요소:

• 정확성 보상(R_acc): 기호 비교를 통해 수학적 동등성을 확인합니다 (latex2sympy2, math_verify 사용)
• 형식 보상(R_fmt): <think> 및 <answer> 태그로 정의된 추론 형식 준수를 강제합니다
• 추론 단계 보상(R_step): 조직화되고 해석 가능한 다단계 설명을 장려합니다
• 코사인 스케일링 보상(R_cs): 완성 길이 조절을 통해 정확성 보상을 조정하여 장황함을 방지합니다
• 반복 페널티(R_rep): 데이터 분석기가 감지한 n-gram 중복 및 퇴화 루프를 페널티합니다

협력 가중치 메커니즘:

R_collab = αR_acc + βR_sim + γR_fmt + δR_step - ηR_rep

여기서 계수 (α, β, γ, δ, η)는 사실 정확성, 추론 명확성 및 언어 유창성의 균형을 맞추기 위해 경험적으로 조정됩니다.

3. 보상 집계 및 정책 업데이트

중앙화된 집계:

r_t = F(R_collab(o_t), R_enhanced(o_t))

여기서 F는 추론 형식, 정확성 및 반복 페널티의 균형을 맞추는 비선형 융합 연산자입니다.

정책 최적화: 일반화된 이점 추정(GAE)을 사용하여 정책 모델을 업데이트합니다:

L_policy = -E_t[Â_t log π_θ(a_t|s_t)]

가치 모델 최적화: 중앙화된 보상에 대한 회귀를 통해 최적화합니다:

L_value = E_t[(V_φ(s_t) - r_t)²]

여기서 Â_t는 이점 함수이고, V_φ는 가치 모델입니다.

기술 혁신 포인트

1. 분산형 평가 아키텍처: 보상 모델링을 다중에이전트 협력 프로세스로 체계화한 최초의 시도이며, 각 에이전트는 특정 평가 차원에 집중합니다
2. 해석 가능성 향상: 각 에이전트의 점수는 인간이 이해할 수 있는 평가(예: 사실 정확성)를 나타내며, 함께 출력 품질의 다차원 그림을 형성합니다
3. 모듈식 설계: 새로운 평가기를 플러그인 에이전트로 도입할 수 있게 하며, 자기 조절 및 해석 가능한 보상 정렬로의 확장 가능한 경로를 제공합니다
4. 추가 주석 불필요: 다중 관점 보상 형성은 훈련 평가기에 사용된 것 이상의 추가 인간 주석이 필요하지 않습니다
5. 표준 호환성: 표준 RL 파이프라인(예: GRPO, PPO)과 완전히 호환되는 단일 훈련 보상을 생성합니다

실험 설정

데이터셋

주요 데이터셋:

1. RewardBench: 다중에이전트 선호도 주변으로 조직된 벤치마크 테스트로, 여러 평가 차원을 포함합니다:
   • Chat: 대화 품질
   • Chat Hard: 어려운 대화 시나리오
   • Safety: 안전성 평가
   • Reasoning: 추론 능력
2. GSM8K: 수학 추론 데이터셋
3. Math: 수학 문제 해결 데이터셋
4. AI-MO/NuminaMath-TIR:
   • 훈련 세트: 3,800 샘플
   • 테스트 세트: 99 샘플

평가 지표

• 정확도: 각 작업 범주의 정확률
• 추론 품질: 논리적 일관성 및 단계 완전성
• 대화 품질: 유창성 및 유용성
• 안전성: 출력의 안전성 점수

비교 방법

기준선 모델: Qwen2.5-0.5B-Instruct (약 494M 매개변수)

실험 구성:

• 2개 에이전트: 데이터 분석기 + 데이터 최적화기
• 3개 에이전트: 데이터 분석기 + 데이터 최적화기 + 품질 평가기
• 4개 에이전트: 데이터 분석기 + 데이터 최적화기 + 품질 평가기 + 데이터 합성기

변형:

• MARM: 기본 협력 모델
• MARM(rerank): 순위 재지정이 포함된 버전
• MARM(emb): 임베딩 기반 버전

구현 세부 사항

• 최적화 프레임워크: GRPO (일반화된 강화 정책 최적화)
• 기본 모델: Qwen/Qwen2.5-0.5B-Instruct (494M 매개변수)
• 프롬프트 형식: 구조화된 프롬프트 사용, 추론 프로세스는 <think>...</think> 태그 내, 최종 답변은 <answer>...</answer> 태그 내
• 임베딩 모델: 의미론적 유사도 계산을 위해 all-MiniLM-L6-v2 사용

실험 결과

주요 결과

표1: RewardBench, Math 및 GSM8K에서의 MARM 결과

2개 에이전트 구성 (데이터 분석기 + 데이터 최적화기)

핵심 발견:

• GSM8K 정확도가 0.08%에서 22.33%로 향상되어 약 279배 향상
• 추론 차원이 0.598에서 0.659로 향상 (MARM 기본 버전)

3개 에이전트 구성 (+ 품질 평가기)

핵심 발견:

• 품질 평가기 추가로 GSM8K가 23.15%로 추가 향상
• 추론 관련 지표 지속적 개선

4개 에이전트 구성 (+ 데이터 합성기)

최고 성능:

• GSM8K 정확도 29.87% 달성 (MARM(rerank)), 기준선 대비 약 374배 향상
• Math 차원 0.192 달성, 다른 구성보다 현저히 우수

소거 실험

에이전트 수의 영향:

1. 2개 에이전트 → 3개 에이전트:
   • 추론 정확성 현저히 향상
   • RewardBench(rerank) 0.639에서 0.689로 향상
   • 품질 평가기 도입으로 구조 일관성과 단계별 논리적 타당성을 더 잘 포착하는 세밀한 평가 피드백 제공
2. 3개 에이전트 → 4개 에이전트:
   • 조합 추론 및 사실 합성 작업 추가 향상
   • 데이터 합성기가 국소 과적합 완화를 통해 모델 일반화 향상
   • 중간 추론 체인의 의미론적 완전성 개선

집계 전략의 영향:

• 순위 재지정 방법: 높은 정밀도 추론 작업에서 다른 변형보다 지속적으로 우수하며, 명시적 선호도 모델링 및 쌍별 순위 지정이 더 구별되는 보상 형성에 기여
• 임베딩 방법: 복잡한 다중에이전트 조율에서 더 나은 안정성과 확장성 시연

사례 분석

논문은 구조화된 프롬프트를 통해 모델 행동을 시연합니다:

• 추론 프로세스: <think> 태그 내에서 단계별 추론을 시연하여 보상 모델이 추론 품질을 평가할 수 있게 합니다
• 최종 답변: <answer> 태그 내에서 최종 결과를 제공하여 정확성 검증을 용이하게 합니다

이러한 구조화된 출력은 각 에이전트가 추론 체인의 다양한 측면을 별도로 평가할 수 있게 합니다.

실험 발견

1. 다중 관점 평가의 효과성: 협력 프레임워크는 추론 견고성과 수학 정밀도에서 현저한 향상을 달성하면서 대화 품질을 손상시키지 않습니다
2. 모듈식 장점: 다양한 에이전트의 도입으로 점진적 개선을 가져오며, 평가 분해의 가치를 검증합니다
3. 안정성 유지: 일반 대화 작업(Chat, Chat Hard)에서 성능이 상대적으로 안정적으로 유지되어 보상 융합 메커니즘이 다차원 목표를 효과적으로 균형 있게 조정함을 나타냅니다
4. 일반화 능력: 데이터 합성기의 도입으로 조합 추론이 필요한 작업에서 모델 성능이 현저히 향상됩니다

관련 연구

1. 보상 모델링 및 RLHF

• 고전적 방법: InstructGPT, GPT-4 등은 스칼라 보상 모델을 사용하지만 투명도가 제한적입니다
• 앙상블 방법: 보상 모델 앙상블을 통해 과도한 최적화 완화
• 다목적 방법: 피드백을 해석 가능한 차원(유용성, 정직성, 장황함)으로 분해
• 자기 성찰 방법: Critique-out-Loud는 점수와 비판을 출력하여 해석 가능성 향상

2. 다중에이전트 및 구조화된 평가

• AI Safety via Debate: 두 모델의 토론과 제3자 평가 메커니즘을 개척적으로 도입
• RLAIF 스타일 설정: 에이전트가 다양한 관점의 검토자 또는 중재자를 시뮬레이션
• ChatEval: 여러 LLM을 집계하여 토론 및 투표를 위한 판사 패널 구성

CRM의 차별성:

• 평가 시에만 에이전트를 사용하는 것이 아니라 보상 모델링에 통합
• 전문가 에이전트는 훈련 중 보상 신호의 실시간 기여자
• 구조 인식 다중 관점 피드백 제공

3. 세밀한 피드백 기술

• GRPO: 유도된 강화 선호도 최적화
• SPIN: 구조화된 피드백으로부터의 강화학습
• RAFT: 피드백 트리를 사용한 보상 정렬

CRM은 이러한 기술과 상호 보완적이며, 다중에이전트 협력의 보상 분해에 집중합니다.

결론 및 논의

주요 결론

1. 패러다임 전환: MARM은 보상 모델링을 단일 블랙박스 오라클이 아닌 다중에이전트 평가 프로세스로 성공적으로 재정의합니다
2. 성능 검증: RewardBench, Math 및 GSM8K에서의 포괄적 실험은 다중에이전트 협력이 대화 품질을 손상시키지 않으면서 추론 정확성, 수학 정밀도 및 전반적 안정성을 현저히 향상시킴을 입증합니다
3. 모듈식 장점: 품질 평가기 및 데이터 합성기와 같은 역할의 도입으로 일관성과 일반화 능력이 추가 향상되어, 보상 모델링에서 영역 특정 분해 및 조율된 피드백의 장점을 강조합니다
4. 실용적 가치: 새로운 평가기를 플러그인 에이전트로 통합할 수 있도록 지원하는 확장 가능하고 모듈식 설계를 제공하며, 기존 RLHF 파이프라인과 호환됩니다

한계

1. 계산 오버헤드: 다중에이전트 평가는 단일 보상 모델에 비해 더 많은 계산 자원이 필요하며, 각 에이전트는 독립적 평가가 필요합니다
2. 가중치 조정: 협력 가중치 계수 (α, β, γ, δ, η)는 경험적 조정이 필요하며, 자동 최적화 메커니즘이 부족합니다
3. 에이전트 설계: 논문은 각 전문가 에이전트를 훈련하는 방법과 평가 품질을 보장하는 방법을 상세히 설명하지 않습니다
4. 규모 검증: 실험은 주로 작은 모델(494M 매개변수)에서 수행되었으며, 대규모 모델에서의 성능은 미지수입니다
5. 대화 품질 균형: 논문은 대화 품질 유지를 주장하지만, 표 데이터에서 Chat 및 Chat Hard 차원의 성능이 약간 감소합니다

향후 방향

1. 자동 가중치 학습: 협력 가중치를 자동으로 학습하고 조정하는 적응형 메커니즘 개발
2. 에이전트 훈련 방법: 전문가 에이전트의 훈련 프로세스 및 품질 보증 메커니즘 체계화
3. 대규모 검증: 더 큰 규모 모델에서 프레임워크의 효과성 및 확장성 검증
4. 동적 에이전트 선택: 작업 유형에 따라 관련 에이전트를 동적으로 선택 및 조합
5. 교차 영역 일반화: 더 많은 영역 및 작업 유형으로 확장

심층 평가

장점

1. 높은 혁신성:
   • 보상 모델링을 다중에이전트 협력 프로세스로 체계화한 최초의 시도
   • 제안된 분산형 평가 아키텍처는 원창성이 높음
   • 모듈식 설계 개념이 선진적
2. 해석 가능성 돌파:
   • 각 에이전트는 인간이 이해할 수 있는 평가 차원 제공
   • 블랙박스 보상 모델에 비해 투명도 현저히 향상
   • 모델 행동 진단 및 디버깅에 도움
3. 충분한 실험 검증:
   • 여러 벤치마크에서 체계적 평가 수행
   • 다양한 에이전트 구성의 소거 실험 포함
   • GSM8K에서의 거대한 향상(279-374배) 인상적
4. 높은 실용 가치:
   • 표준 RL 파이프라인과 호환
   • RewardBench 벤치마크 제공으로 후속 연구 촉진
   • 모듈식 설계로 확장 및 커스터마이징 용이
5. 견고한 이론 기초:
   • 문제 정의 명확
   • 수학 형식화 엄밀
   • 방법 설계에 이론적 지원

부족한 점

1. 방법 세부 사항 부족:
   • 각 전문가 에이전트의 구체적 훈련 방법 미상세 설명
   • 가중치 계수 조정 프로세스 설명 부족
   • 집계 함수 F(·)의 구체적 구현 불명확
2. 실험 한계:
   • 소형 모델(494M 매개변수)에서만 검증
   • 더 많은 SOTA 방법과의 비교 부족
   • 통계적 유의성 검정 미보고
   • 대화 품질 차원 감소에 대한 심층 분석 부족
3. 계산 효율 분석 부재:
   • 훈련 시간 및 추론 속도 미보고
   • 다중에이전트 평가의 계산 오버헤드 미정량화
   • 효율성과 성능의 균형 분석 부족
4. 재현성 문제:
   • 초매개변수 설정 세부 사항 부족
   • 에이전트 구현 세부 사항 불충분
   • 코드 및 모델 오픈소스 여부 미선언
5. 일반화 검증 부족:
   • 주로 수학 추론 작업에 집중
   • 다른 영역(코드 생성, 창의적 글쓰기)에서의 성능 미지수
   • 다국어 능력 미평가
6. 이론 분석 부족:
   • 수렴성 분석 부재
   • 다중에이전트가 단일 모델보다 우수한 이유에 대한 이론적 설명 부족
   • 에이전트 수와 성능 관계에 대한 이론적 지도 부족

영향력

1. 학술 기여:
   • RLHF 분야에 새로운 연구 방향 제공
   • 다중에이전트 보상 모델링이 새로운 패러다임이 될 가능성
   • RewardBench 벤치마크로 평가 표준화에 기여
2. 실용 가치:
   • 대규모 모델 정렬의 해석 가능성 향상
   • 수학 추론 등 높은 정확성이 필요한 작업에서 명백한 장점
   • 모듈식 설계로 산업 응용 용이
3. 잠재적 영향:
   • 보상 모델링을 블랙박스에서 화이트박스로 전환할 가능성
   • 안전 AI 및 신뢰 가능한 AI 연구에 도구 제공
   • 더 많은 다중에이전트 협력 연구 영감
4. 재현성:
   • 방법 설명이 상대적으로 명확
   • 구현 세부 사항 부족으로 재현에 영향 가능
   • 저자의 코드 및 모델 오픈소스 기대

적용 시나리오

높은 적용성:

1. 수학 추론 작업: 실험이 GSM8K 등 수학 벤치마크에서 효과 입증
2. 다차원 평가 필요: 정확성, 안전성, 유용성 등 여러 차원을 동시에 고려해야 하는 응용
3. 높은 해석 가능성 요구: 금융, 의료 등 의사결정 이유 설명이 필요한 분야
4. 구조화된 출력 작업: 단계별 추론이 필요한 문제 해결

신중한 사용:

1. 대화 생성: 실험에서 대화 품질이 약간 감소하여 균형 필요
2. 창의적 작업: 과도한 구조화가 창의성 제한 가능
3. 실시간 응용: 다중에이전트 평가로 인한 지연 증가 가능
4. 자원 제한 시나리오: 계산 오버헤드 상대적으로 큼

검증 필요:

1. 대규모 모델: 수십억 매개변수 모델에서의 성능 미지수
2. 다국어 시나리오: 영어 이외 작업의 적용성 미검증
3. 장문 생성: 장편 글쓰기 등 작업에서의 효과 불명확
4. 다중 모달: 이미지, 오디오 등 다중 모달 작업의 확장성

참고 문헌

주요 인용:

1. RLHF 기초:
   • Christiano et al. (2017) - Deep reinforcement learning from human preferences
   • Ouyang et al. (2022) - InstructGPT: Training language models to follow instructions with human feedback
2. 보상 모델링:
   • Coste et al. (2023) - Reward model ensembles help mitigate overoptimization
   • Wang et al. (2024) - Interpretable preferences via multi-objective reward modeling
3. 다중에이전트 평가:
   • Irving et al. (2018) - AI safety via debate
   • Chan et al. (2023) - ChatEval: Towards better LLM-based evaluators through multi-agent debate
4. 세밀한 피드백:
   • Zheng et al. (2024) - GRPO: Guided reinforcement preference optimization
   • Ankner et al. (2024) - Critique-out-loud reward models

종합 평가: 본 논문은 RLHF의 해석 가능성과 추론 능력 향상에 있어 중요한 기여를 하는 혁신적이고 실용적인 다중에이전트 협력 보상 모델링 프레임워크를 제안합니다. 실험 규모 제한 및 구현 세부 사항 부족 등의 문제가 있지만, 핵심 아이디어는 중요한 학술 가치와 응용 전망을 가집니다. 후속 연구에서 더 많은 구현 세부 사항 보충, 실험 규모 확대, 관련 코드 및 모델 오픈소스화를 통해 커뮤니티 발전을 촉진하기를 기대합니다.