신뢰도 기반 응답 기권: 활성화 기반 불확실성 추정을 통한 LLM 신뢰성 향상

기본 정보

• 논문 ID: 2510.13750
• 제목: Confidence-Based Response Abstinence: Improving LLM Trustworthiness via Activation-Based Uncertainty Estimation
• 저자: Zhiqi Huang, Vivek Datla, Chenyang Zhu, Alfy Samuel, Daben Liu, Anoop Kumar, Ritesh Soni (Capital One)
• 분류: cs.CL (계산 언어학)
• 발표 시간: 2025년 10월 16일 (arXiv v2)
• 논문 링크: https://arxiv.org/abs/2510.13750v2

초록

본 논문은 검색 증강 생성(RAG) 시스템을 위한 신뢰도 추정 방법을 제안하며, 이는 대규모 언어 모델(LLM) 출력의 정확성과 밀접한 관련이 있습니다. 신뢰도 추정은 금융 및 의료와 같은 고위험 분야에서 특히 중요하며, 이러한 분야에서는 오답의 비용이 질문에 답하지 않는 비용보다 훨씬 큽니다. 본 방법은 원시 피드포워드 네트워크(FFN) 활성화를 자기회귀 신호로 활용하여 기존의 불확실성 정량화 방법을 확장하며, 토큰 로짓과 확률이 투영 및 소프트맥스 정규화 후 겪는 본질적인 정보 손실을 회피합니다. 저자들은 신뢰도 예측을 시퀀스 분류 작업으로 모델링하고 Huber 손실 항을 사용하여 훈련을 정규화하여 노이즈 감독에 대한 견고성을 향상시킵니다. 복잡한 지식 기반을 가진 실제 금융 산업 고객 지원 시나리오에서, 본 방법은 엄격한 지연 제약 하에서 강력한 기준선을 능가하면서 높은 정확성을 유지합니다.

연구 배경 및 동기

문제 정의

고위험 응용 시나리오에서 RAG 시스템은 오답을 제공하기보다는 답변을 거부하는 것이 낫습니다. 이는 응답 정확성과 강하게 상관된 신뢰도 측정이 필요하며, 신뢰도 점수가 임계값 이하일 때 응답을 차단합니다.

문제의 중요성

1. 고위험 분야 요구사항: 금융, 의료 등 엄격히 규제되는 분야에서 오답 제공의 평판 및 재정 비용은 답변 미제공 비용보다 훨씬 높습니다
2. 실시간 배포 도전: 기존 방법은 긴 서술형 답변과 프로덕션 환경의 지연 요구사항에서 성능이 저조합니다
3. 불확실성 출처: 주로 인식론적 불확실성(모델 지식 부족)에서 비롯되며, 우연적 불확실성(데이터 고유 무작위성)이 아닙니다

기존 방법의 한계

1. 샘플링 기반 방법: 여러 번의 생성이 필요하며, 프로덕션 환경에서 과도한 계산 비용과 지연을 초래합니다
2. 토큰 확률 방법: 긴 답변에서 성능이 저조하며, 단일 낮은 확률 단어가 전체 시퀀스 점수를 부당하게 낮출 수 있습니다
3. 정보 손실: 토큰 확률은 선형 투영 및 소프트맥스 변환 후 풍부한 내부 표현 정보를 잃습니다

핵심 기여

1. 활성화 기반 신뢰도 추정 방법 제안: 원시 FFN 활성화를 자기회귀 신호로 활용하여 토큰 로짓의 정보 손실을 회피합니다
2. 시퀀스 분류 프레임워크: 신뢰도 예측을 시퀀스 분류 작업으로 모델링하며, LSTM을 사용하여 활성화 시퀀스를 처리합니다
3. Huber 손실 정규화: Huber 손실을 도입하여 검색 단계의 노이즈 감독에 대한 견고성을 향상시킵니다
4. 프로덕션 환경 검증: 실제 금융 고객 지원 시나리오에서 방법의 효과성과 확장성을 검증합니다
5. 효율성 최적화: 제16층 활성화만 사용하면 정확성을 유지하면서 지연을 크게 줄일 수 있음을 입증합니다

방법 상세 설명

작업 정의

입력 x와 생성 시퀀스 s가 주어졌을 때, 목표는 응답 정확성과 강하게 상관된 신뢰도 점수 c를 추정하는 것입니다. c가 임계값 이하일 때 시스템은 응답 표시를 거부합니다.

모델 아키텍처

전체 프레임워크

입력 시퀀스는 다음과 같이 구성됩니다:

x = xI ⊕ xQ ⊕ xC ⊕ s ⊕ xEOS

여기서 xI(지시사항), xQ(질문), xC(컨텍스트), s(답변), xEOS(종료 기호)

활성화 추출

Transformer 제ℓ층에서 숨겨진 상태 활성화를 추출합니다:

Hℓ = (h¹ℓ, ..., h^(T+L+1)ℓ)

답변 부분에 해당하는 활성화만 보존합니다:

Sin = (h^(T+1)ℓ, h^(T+2)ℓ, ..., h^(T+L+1)ℓ)

시퀀스 분류기

LSTM을 시퀀스 분류기 g(Sin)로 사용하며, 2차원 로짓 벡터 z를 출력하고, 신뢰도 점수는 다음과 같습니다:

c = softmax(z)₁ = e^z₁/(e^z₀ + e^z₁)

훈련 전략

손실 함수

교차 엔트로피 손실과 Huber 손실 정규화를 결합합니다:

LTotal = LCE + λLHuber

Huber 손실은 다음과 같이 정의됩니다:

Hδ(x) = {
  ½x² for |x| ≤ δ
  δ(|x| - ½δ) otherwise
}

배치 수준 Huber 손실:

LHuber = Hδ(1/|B| Σci - 1/|B| ΣI(ŷi = yi))

기술 혁신 포인트

1. 원시 활성화 vs 토큰 확률: 선형 투영 및 소프트맥스로 인한 정보 압축 및 왜곡을 회피합니다
2. 자기회귀 시퀀스 모델링: LSTM을 사용하여 생성 과정의 시간적 의존성을 포착합니다
3. 견고성 정규화: Huber 손실은 검색 오류로 인한 노이즈 레이블에 더욱 견고합니다
4. 층 수준 최적화: 실험을 통해 최적의 활성화 추출 층을 결정합니다

실험 설정

데이터셋

• 출처: Capital One 내부 금융 고객 지원 지식 기반
• 규모: 8.5k 문서, 약 45k 청크
• 특징: 반구조화 문서, 복잡한 계층 구조, 표, 목록 등 포함
• 주석: 실시간 피드백 및 SME 전문가 평가의 2단계 검증 메커니즘

평가 지표

• AUROC: 신뢰도 점수의 구분 능력
• 정밀도(P): 표시된 응답의 정확률
• 재현율(R): 올바른 응답의 재현율
• ROUGE-L: 응답 품질 평가
• 차단율: 차단된 응답의 비율
• 지연: 평균 및 P99 응답 시간

비교 방법

• Vectara (HHEM2.1): 함축 기반 의미 일관성 모델
• VectaraFT: Vectara의 미세 조정 버전
• Logits 기반: 토큰 로짓 기반 불확실성 모델

구현 세부사항

• 모델: Llama 3.1 8B
• 활성화 층: 제16층 및 제32층
• 컨텍스트 크기: Top-1, Top-3, Top-5, Full (Top-7)
• 추론 프레임워크: Hugging Face, vLLM

실험 결과

주요 결과

신뢰도 임계값 분석

층 및 컨텍스트 최적화

제16층 vs 제32층:

• 제16층은 유사한 성능을 유지하면서 지연을 크게 줄입니다(약 42.5%)
• Full 컨텍스트 설정에서 제16층은 0.97 정밀도, 31.3% 차단율을 달성합니다

지연 분석:

제거 실험

1. Huber 손실의 역할: 0.741에서 0.772 AUROC로 향상
2. 활성화 층 선택: 제16층 성능은 제32층에 가깝지만 지연이 더 낮습니다
3. 컨텍스트 크기 영향: 더 큰 컨텍스트는 정확성을 향상시키지만 지연을 증가시킵니다

관련 연구

불확실성 정량화 방법 분류

1. 샘플링 기반 방법: 여러 생성을 통해 일관성을 측정하지만 계산 비용이 높습니다
2. 확률 기반 방법: 토큰 확률 및 의미 엔트로피를 활용하지만 긴 텍스트에서 효과가 제한적입니다
3. 분류 기반 방법: HHEM 등으로 여러 생성을 회피하지만 블랙박스 접근에 의존합니다
4. 활성화 기반 방법: 내부 표현을 활용하며, 본 논문의 주요 기여 방향입니다

본 논문의 장점

• 샘플링 방법 대비: 단일 전방 전파, 더 낮은 지연
• 확률 기반 방법 대비: 완전한 내부 표현 보존, 더 적은 정보 손실
• 블랙박스 방법 대비: 화이트박스 접근을 활용하여 더 풍부한 신호 획득

결론 및 논의

주요 결론

1. 효과성: 활성화 기반 방법은 기존 기준선을 크게 능가하며 AUROC 0.772 달성
2. 실용성: 프로덕션 환경에서 0.95 정밀도와 29.9% 차단율의 좋은 균형 달성
3. 효율성: 제16층 활성화는 성능을 유지하면서 지연을 크게 감소시킵니다
4. 견고성: Huber 손실은 노이즈 감독에 대한 견고성을 효과적으로 향상시킵니다

한계

1. 화이트박스 의존성: 모델 내부 활성화에 대한 접근이 필요하여 일반성을 제한합니다
2. 아키텍처 특이성: 방법은 특정 모델 아키텍처에 맞춤화되어 있으며 전이에는 재구성이 필요합니다
3. 2단계 처리: 신뢰도 점수를 계산하기 위해 추가 전방 전파가 필요합니다
4. 데이터 제한: 실험 데이터를 공개할 수 없어 재현성에 영향을 미칩니다

향후 방향

1. 엔드-투-엔드 통합: 신뢰도 추정을 생성 과정에 직접 통합합니다
2. 아키텍처 무관성: 다양한 LLM 아키텍처에 적용 가능한 범용 방법 개발
3. 계산 최적화: 신뢰도 추정의 계산 오버헤드를 추가로 감소시킵니다
4. 이론적 분석: 활성화 패턴과 신뢰도 간의 이론적 관계를 깊이 있게 이해합니다

심층 평가

장점

1. 기술 혁신: FFN 활성화를 RAG 신뢰도 추정에 체계적으로 활용한 첫 사례로, 토큰 확률의 정보 손실을 회피합니다
2. 실제 가치: 실제 금융 시나리오에서 검증되어 강한 실용 지향성을 가집니다
3. 포괄적 실험: 여러 차원(층, 컨텍스트, 지연)에서 충분한 제거 실험을 수행합니다
4. 엔지니어링 고려: 프로덕션 환경의 지연 제약 및 확장성 요구사항을 충분히 고려합니다

부족한 점

1. 일반성 제한: 방법은 화이트박스 접근과 특정 아키텍처에 의존하여 확산이 제한됩니다
2. 이론적 기초: FFN 활성화가 신뢰도를 예측할 수 있는 이유에 대한 깊이 있는 이론적 분석이 부족합니다
3. 데이터 투명성: 독점 데이터셋으로 인해 결과의 검증 가능성에 영향을 미칩니다
4. 제한된 비교: 더 많은 최신 불확실성 정량화 방법과의 비교가 부족합니다

영향력

1. 학술 기여: RAG 시스템의 신뢰성 연구에 새로운 기술 경로를 제공합니다
2. 산업 가치: 고위험 분야의 LLM 배포를 위한 실용적 솔루션을 제공합니다
3. 방법론적 영감: 활성화 기반 방법은 더 많은 내부 표현 활용 연구에 영감을 줄 수 있습니다

적용 시나리오

1. 고위험 분야: 금융, 의료, 법률 등 정확성 요구사항이 극히 높은 시나리오
2. 화이트박스 배포: 모델 내부 접근 권한이 있는 엔터프라이즈 애플리케이션
3. 실시간 시스템: 엄격한 지연 제약 하에서 신뢰할 수 있는 응답을 제공해야 하는 시나리오
4. 전문 지식 기반: 구조화되고 전문화된 지식 기반을 가진 RAG 애플리케이션

참고문헌

본 논문은 불확실성 정량화, RAG 시스템, 활성화 분석 등 여러 관련 분야의 중요한 연구를 인용하며, 다음을 포함합니다:

• Azaria and Mitchell (2023): LLM 내부 상태와 "거짓말" 탐지
• Bakman et al. (2024): 의미 기반 응답 점수 매기기
• Bao et al. (2024): HHEM 함축 모델
• Dai et al. (2022): 사전 훈련된 Transformer의 지식 신경원

종합 평가: 이는 기술적으로 견고하고 실용 가치가 높은 논문으로, RAG 시스템 신뢰도 추정이라는 중요한 문제에 대해 혁신적인 솔루션을 제시합니다. 일반성과 이론적 깊이에서 일정한 한계가 있지만, 실제 시나리오에서의 성공적인 응용과 충분한 실험 검증으로 인해 중요한 학술 및 산업 가치를 가집니다.