RASP를 사용한 Transformer의 조합 일반화 탐색 (COGS/ReCOGS_pos)

기본 정보

• 논문 ID: 2504.15349
• 제목: Exploring Compositional Generalization (in COGS/ReCOGS_pos) by Transformers using Restricted Access Sequence Processing (RASP)
• 저자: William Bruns
• 분류: cs.CL (계산 언어학)
• 발표 시간: 2025년 10월 14일 (arXiv v3)
• 논문 링크: https://arxiv.org/abs/2504.15349v3

초록

인간은 다양한 문맥에서 식별된 어휘로 구성된 새로운 조합을 이해할 수 있으며, 이러한 능력을 조합 일반화(Compositional Generalization)라고 합니다. COGS 벤치마크는 Transformer 모델이 특정 구조 일반화에서 0%의 정확도를 보인다고 보고합니다. 본 논문은 RASP(제한된 접근 시퀀스 처리) 언어를 사용하여 Transformer 인코더-디코더가 COGS 및 의미론적으로 동등한 ReCOGS_pos 작업을 체계적이고 조합적으로 수행할 수 있음을 증명합니다: RASP 모델은 구조 일반화 분할에서 거의 완벽한 점수를 달성합니다. 연구는 (Re)COGS 작업이 계층적 또는 트리 구조 솔루션을 필요로 하지 않으며, 대신 19개의 주의 헤드 호환 평면 패턴 매칭 규칙을 사용하여 전치사구와 절을 마스킹함으로써 문법 패턴을 식별함을 보여줍니다.

연구 배경 및 동기

문제 정의

본 연구가 해결하고자 하는 핵심 문제는 조합 일반화 작업에서 Transformer 모델의 능력 제한, 특히 COGS(의미 해석 기반 조합 일반화 도전) 벤치마크에서의 저조한 성능입니다.

중요성

1. 이론적 의의: 조합 일반화는 인간 언어 이해의 핵심 능력이며, 신경망이 이러한 능력을 어떻게 구현하는지 이해하는 것은 AI의 언어 이해 발전에 필수적입니다.
2. 실용적 의의: 현재 Transformer 모델이 구조 일반화 작업에서 거의 0%의 정확도를 보이는 것은 근본적인 제한이 있음을 시사하며, 해결책을 찾아야 합니다.

기존 방법의 한계

1. 얕은 네트워크 제한: Kim과 Linzen (2020)이 사용한 2층 인코더-디코더는 구조 일반화에서 극히 저조한 성능을 보입니다.
2. 계층 구조 가정의 오류: 기존 연구는 COGS 작업을 해결하기 위해 트리 구조 또는 계층적 표현이 필요하다고 가정합니다.
3. 깊이의 무효성: Petty 등(2024)은 32층까지 증가시켜도 Transformer가 COGS 구조 일반화에서 개선되지 않음을 발견했습니다.

연구 동기

저자는 Zhou 등(2023)이 RASP를 사용하여 Transformer 일반화 능력을 분석한 것에서 영감을 받아, 구성적 증명을 통해 Transformer가 이론적으로 COGS 작업을 해결할 수 있음을 보이고 기존 모델이 실패하는 이유를 분석하고자 했습니다.

핵심 기여

1. 구성적 증명: RASP 언어를 사용하여 Transformer 인코더-디코더가 이론적으로 COGS 및 ReCOGS_pos 작업을 체계적으로 해결할 수 있음을 증명합니다.
2. 평면 솔루션: 재귀적 트리 구조 규칙이 필요 없는 19개의 평면 패턴 매칭 규칙 기반의 비계층적 솔루션을 제안합니다.
3. 오류 분석: "인력 오류"(attraction errors) 이론을 통해 기준선 Transformer의 구체적인 오류 패턴을 예측하고 검증합니다.
4. 성능 돌파: RASP 모델이 COGS에서 99.89% 문자열 정확도, ReCOGS_pos에서 99.63% 의미 정확도를 달성합니다.
5. 새로운 일반화 분할: "v_dat_p2_pp_moved_to_recipient" 새로운 어려운 일반화 분할을 발견하고 검증합니다.

방법론 상세 설명

작업 정의

COGS/ReCOGS 작업은 단순화된 영어 문법의 문장을 논리형(LF)으로 변환하도록 요구합니다:

• 입력: 영어 문장 (예: "A scientist lended a cat a donut")
• 출력: 논리형 (예: "scientist(1); cat(4); donut(6); lend(2) AND agent(2,1) AND recipient(2,4) AND theme(2,6)")
• 평가: 문자열 정확도(COGS) 또는 의미 정확도(ReCOGS)

모델 아키텍처

RASP 프로그래밍 프레임워크

RASP는 Transformer 가중치로 컴파일 가능한 프로그래밍 언어이며, 본 논문은 이를 사용하여 인코더-디코더 모델을 구축합니다:

1. 임베딩 계층: 단어 수준 토큰을 품사 및 동사 유형 레이블로 매핑합니다.
2. 인코더: 19개의 주의 헤드 호환 평면 패턴 매처를 사용합니다.
3. 디코더 루프: 자회귀 논리형 토큰 생성합니다.

핵심 구성 요소 설계

1. 품사 임베딩 매핑

어휘 → {det: 1, common_noun: 7, proper_noun: 8, v_dat: 18, ...}

2. 평면 패턴 매처 19개의 패턴은 모든 비재귀 문법 규칙을 포함합니다. 예:

• np v_dat_p2 np np (예: "Liam forwarded the girl the donut")
• np was v_trans_omissible_pp_p2 by np (수동태)

3. 마스킹 메커니즘 핵심 혁신: 명사-동사 관계 추출 시 전치사구 명사를 마스킹합니다:

no_pp_np_mask = 1 - aggregate((pp_one_after_mask and np_prop_diag_mask) or 
                              (pp_two_after_mask and np_det_diag_mask), 1)

기술 혁신점

1. 비재귀 솔루션

기존 가정과 달리, 모델은 np_det pp np → np_pp → np와 같은 재귀 규칙을 사용하지 않고:

• 인코더에서 주요 문법 패턴을 식별합니다.
• 디코더에서 재귀 구조를 전개합니다.

2. 인력 오류 회피

마스킹 메커니즘을 통해 전치사구의 명사가 잘못된 문법 관계를 "끌어당기는" 것을 방지합니다:

오류: The cake on the plate burned → theme(burn, plate)  # 인력 오류
정확: The cake on the plate burned → theme(burn, cake)   # 마스킹 후

3. 디코더 루프 전개

재귀 구조는 디코더 루프를 통해 처리되어 임의 깊이의 전치사구 및 절 중첩을 지원합니다.

실험 설정

데이터셋

• COGS: 24,155개 훈련 샘플, 3,000개 테스트 샘플, 21,000개 일반화 샘플
• ReCOGS_pos: 위치 인덱스를 사용하는 ReCOGS 버전, 의미론적으로 동등하지만 의미 정확도 허용
• 문법 커버리지: Zeller 등(2023)의 방법을 사용하여 19개 규칙이 100% 비재귀 문법을 포함함을 검증합니다.

평가 지표

• 문자열 정확도: 완전히 동일한 논리형 문자열
• 의미 정확도: 의미론적으로 동등하지만 인덱스 및 순서가 다를 수 있는 논리형
• 문법 커버리지: 모델이 지원하는 문법 확장이 전체 문법에서 차지하는 비율

비교 방법

• Wu 등(2024) 기준선: 2층 인코더-디코더 Transformer
• 계층 수 변형: 3층 및 4층 버전
• 데이터 증강 버전: 특정 전치사구 수정 샘플 추가

구현 세부사항

• 공식 RASP 인터프리터를 사용하여 프로그램 평가
• 어휘 매핑은 COGS 훈련 세트의 모든 어휘를 기반으로 합니다.
• 결정론적 프로그램은 Clopper-Pearson 신뢰 구간을 사용합니다.

실험 결과

주요 결과

RASP 모델 성능

COGS (문자열 정확도)

• 테스트 세트: 99.97% (99.81-99.99%)
• obj_pp_to_subj_pp: 100.00% (99.63-100.00%)
• pp_recursion: 98.40% (97.41-99.08%)
• cp_recursion: 99.90% (99.44-99.997%)
• 전체 일반화: 99.89% (99.83-99.93%)

ReCOGS_pos (의미 정확도)

• 테스트 세트: 100.00% (99.88-100.00%)
• obj_pp_to_subj_pp: 92.20% (90.36-93.79%)
• pp_recursion: 100.00% (99.63-100.00%)
• cp_recursion: 100.00% (99.63-100.00%)
• 전체 일반화: 99.63% (99.54-99.71%)

기준선 Transformer 성능 비교

Wu 등(2024) 기준선 (ReCOGS_pos)

• pp_recursion: 40.2% ± 9.3%
• cp_recursion: 52.4% ± 1.4%
• obj_pp_to_subj_pp: 19.7% ± 6.1%

인력 오류 분석

기준선 Transformer의 오류 분석이 이론적 예측을 검증합니다:

• **단일 관계 오류의 96.73%**이 인력 오류 패턴과 일치합니다.
• **깊이 2 전치사구 오류의 100%**이 가장 가까운 전치사 명사를 가리킵니다.
• 비계층적 선형 처리 가정을 확인합니다.

새로운 일반화 분할 검증

"v_dat_p2_pp_moved_to_recipient" 분할:

• 기준선 성능: 13% ± 15.6% (가장 어려운 분할과 동등)
• 트리 구조 가정이 아닌 평면 처리 가정을 지원합니다.

계층 수 증가의 무효성

Transformer 계층 수 증가(3-4층)는 obj_pp_to_subj_pp 성능에 개선을 주지 못하며, 이는 Petty 등(2024)의 발견과 일치합니다.

관련 연구

조합 일반화 연구

• COGS 벤치마크: Kim과 Linzen (2020)이 제안, Transformer가 거의 0%의 구조 일반화 정확도를 보인다고 보고합니다.
• ReCOGS 개선: Wu 등(2024)이 의미 정확도를 통해 0이 아닌 하지만 여전히 낮은 정확도를 얻습니다.
• 계층적 방법: Liu 등(2021), Weißenhorn 등(2022)이 명시적 트리 구조를 사용하여 높은 성능을 달성합니다.

RASP 관련 응용

• 원본 RASP: Weiss 등(2021)이 Transformer 인코더 능력 분석에 사용합니다.
• 디코더 확장: Zhou 등(2023)이 자회귀 디코더로 확장하여 길이 일반화를 분석합니다.
• 작업 특정 응용: 본 논문이 복잡한 의미 파싱 작업에 RASP를 처음 적용합니다.

인력 오류 연구

• 언어학적 기초: Jespersen (1954)이 기술한 주술 일치 인력 오류
• 신경망의 인력: van Schijndel 등(2019), Goldberg (2019)가 Transformer에서 유사한 현상을 관찰합니다.

결론 및 토론

주요 결론

1. 이론적 가능성: Transformer는 이론적으로 계층적 표현 없이 평면 패턴 매칭을 통해 COGS 작업을 해결할 수 있습니다.
2. 핵심 메커니즘: 전치사구 명사 마스킹은 인력 오류를 회피하는 핵심입니다.
3. 학습 문제: 현재 Transformer의 실패는 능력 제한이 아닌 학습 문제입니다.
4. 오류 예측 가능성: 평면 처리 가정을 기반으로 기준선 모델의 구체적인 오류를 정확히 예측할 수 있습니다.

한계

1. 수동 구성: RASP 모델은 수동으로 설계되었으며 학습되지 않았습니다.
2. 어휘 제한: 품사 및 동사 유형 매핑이 알려져 있다고 가정하며, 어휘 일반화를 해결하지 못합니다.
3. 언어 특정: 영어에만 적용되며, 다른 언어의 적용 가능성은 미지수입니다.
4. 작업 특정: 모델은 COGS를 위해 특별히 설계되었으며 범용 언어 모델이 아닙니다.

향후 방향

1. 학습 알고리즘: Transformer가 유사한 마스킹 규칙을 학습하는 방법 연구
2. 훈련 목표: 데이터 증강, 커리큘럼 학습, 강화 학습 등의 방법 탐색
3. 아키텍처 개선: 조합 일반화를 촉진하는 더 나은 귀납 편향 설계
4. 다국어 확장: 다른 언어에서 방법의 유효성 검증

심층 평가

장점

1. 이론적 기여: 구성적 증명을 통해 Transformer의 이론적 능력 경계를 명확히 합니다.
2. 방법 혁신: 제안된 평면 솔루션은 계층적 표현의 필요성 가정에 도전합니다.
3. 실증적 엄밀성: 상세한 오류 분석 및 예측 검증이 결론의 신뢰성을 강화합니다.
4. 공학적 완전성: 완전한 재현 가능 코드 및 상세한 구현 문서를 제공합니다.
5. 깊은 통찰: 인력 오류 이론은 Transformer 실패를 이해하기 위한 새로운 관점을 제공합니다.

부족한 점

1. 실용성 제한: RASP 모델은 실행 속도가 극히 느려 연구용으로만 적합합니다.
2. 학습 부재: Transformer가 이러한 규칙을 자동으로 학습하는 방법의 핵심 문제를 해결하지 못합니다.
3. 평가 범위: 주로 구조 일반화에 초점을 맞추며 어휘 일반화에 대한 관심이 부족합니다.
4. 가정의 강도: 품사 매핑이 알려져 있다는 가정은 실제 응용에서 비현실적일 수 있습니다.

영향력

1. 이론적 영향: 조합 일반화 연구에 새로운 이론적 프레임워크 및 분석 도구를 제공합니다.
2. 방법론적 영향: RASP 분석 방법은 다른 Transformer 능력 연구에 광범위하게 적용될 수 있습니다.
3. 실무 지도: Transformer 훈련 개선을 위한 구체적인 기술 방향을 제공합니다.

적용 시나리오

1. 연구 도구: Transformer 능력 분석의 이론적 도구로 사용
2. 벤치마크: 조합 일반화 능력 평가를 위한 참조 구현 제공
3. 교육 자료: Transformer의 내부 작동 메커니즘 이해 지원
4. 알고리즘 설계: 더 나은 조합 일반화 알고리즘 설계에 영감 제공

참고문헌

1. Kim, N., & Linzen, T. (2020). COGS: A compositional generalization challenge based on semantic interpretation. EMNLP 2020.
2. Wu, Z., Manning, C. D., & Potts, C. (2024). ReCOGS: How incidental details of a logical form overshadow an evaluation of semantic interpretation. TACL.
3. Weiss, G., Goldberg, Y., & Yahav, E. (2021). Thinking like transformers. NeurIPS 2021.
4. Zhou, H., et al. (2023). What algorithms can transformers learn? A study in length generalization. arXiv preprint.
5. Zeller, A., et al. (2023). Grammar coverage. In The Fuzzing Book.

본 논문은 엄밀한 이론 분석과 실증 검증을 통해 조합 일반화 작업에서 Transformer의 능력과 한계를 이해하기 위한 중요한 통찰력을 제공합니다. 일부 실용성 제한이 있지만, 이론적 기여와 방법론적 혁신은 관련 연구 발전에 중요한 가치를 가집니다.