2025-11-14T13:10:11.333946

Symbol Grounding in Neuro-Symbolic AI: A Gentle Introduction to Reasoning Shortcuts

Marconato, Bortolotti, van Krieken et al.
Neuro-symbolic (NeSy) AI aims to develop deep neural networks whose predictions comply with prior knowledge encoding, e.g. safety or structural constraints. As such, it represents one of the most promising avenues for reliable and trustworthy AI. The core idea behind NeSy AI is to combine neural and symbolic steps: neural networks are typically responsible for mapping low-level inputs into high-level symbolic concepts, while symbolic reasoning infers predictions compatible with the extracted concepts and the prior knowledge. Despite their promise, it was recently shown that - whenever the concepts are not supervised directly - NeSy models can be affected by Reasoning Shortcuts (RSs). That is, they can achieve high label accuracy by grounding the concepts incorrectly. RSs can compromise the interpretability of the model's explanations, performance in out-of-distribution scenarios, and therefore reliability. At the same time, RSs are difficult to detect and prevent unless concept supervision is available, which is typically not the case. However, the literature on RSs is scattered, making it difficult for researchers and practitioners to understand and tackle this challenging problem. This overview addresses this issue by providing a gentle introduction to RSs, discussing their causes and consequences in intuitive terms. It also reviews and elucidates existing theoretical characterizations of this phenomenon. Finally, it details methods for dealing with RSs, including mitigation and awareness strategies, and maps their benefits and limitations. By reformulating advanced material in a digestible form, this overview aims to provide a unifying perspective on RSs to lower the bar to entry for tackling them. Ultimately, we hope this overview contributes to the development of reliable NeSy and trustworthy AI models.
academic

신경-기호 AI에서의 기호 기초: 추론 지름길에 대한 온화한 입문

기본 정보

  • 논문 ID: 2510.14538
  • 제목: Symbol Grounding in Neuro-Symbolic AI: A Gentle Introduction to Reasoning Shortcuts
  • 저자: Emanuele Marconato, Samuele Bortolotti, Emile van Krieken, Paolo Morettin, Elena Umili, Antonio Vergari, Efthymia Tsamoura, Andrea Passerini, Stefano Teso
  • 분류: cs.AI cs.LG
  • 발표 시간: 2025년 10월 17일(프리프린트)
  • 논문 링크: https://arxiv.org/abs/2510.14538

초록

신경-기호(NeSy) AI는 예측 결과가 사전 지식 인코딩(예: 안전성 또는 구조적 제약)을 준수하는 심층 신경망을 개발하는 것을 목표로 하며, 신뢰할 수 있고 투명한 AI의 가장 유망한 경로 중 하나를 나타냅니다. NeSy AI의 핵심 아이디어는 신경 단계와 기호 단계를 결합하는 것입니다: 신경망은 저수준 입력을 고수준 기호 개념으로 매핑하고, 기호 추론은 개념 및 사전 지식과 호환되는 예측을 추론하고 추출합니다. 광범위한 전망에도 불구하고, 최근 연구에 따르면 개념에 직접적인 감독이 없을 때 NeSy 모델은 추론 지름길(Reasoning Shortcuts, RSs)의 영향을 받을 수 있습니다. 즉, 잘못된 기초 개념을 통해 높은 레이블 정확도를 달성할 수 있습니다. RS는 모델 해석의 해석 가능성, 분포 외 시나리오의 성능을 손상시킬 수 있으므로 신뢰성에 영향을 미칩니다. 동시에 개념 감독(일반적으로 사용 불가능)이 없으면 RS를 감지하고 예방하기 어렵습니다.

연구 배경 및 동기

핵심 문제

본 연구가 해결하고자 하는 핵심 문제는 신경-기호 AI에서의 기호 기초(Symbol Grounding) 실패 문제로, 구체적으로 추론 지름길(Reasoning Shortcuts) 현상으로 나타납니다.

문제의 중요성

  1. 해석 가능성 위기: NeSy 모델은 해석 가능한 의사결정 프로세스를 제공할 것을 약속하지만, RS는 학습된 개념이 예상 의미와 불일치하게 하여 해석의 신뢰성을 심각하게 훼손합니다.
  2. 일반화 능력 제한: 잘못된 개념 기초는 모델이 분포 외 시나리오에서 성능 저하를 초래하여 실제 응용 가치를 제한합니다.
  3. 안전성 위험: 자동 운전과 같은 고위험 응용 시나리오에서 RS는 재앙적 결과를 초래할 수 있습니다.

기존 방법의 한계

  1. 문헌 분산: RS에 관한 연구가 다양한 논문에 분산되어 있어 통일된 이론적 프레임워크가 부족합니다.
  2. 감지 어려움: RS는 훈련 세트에서 레이블 정확도에 영향을 주지 않아 기존 평가 방법으로는 발견하기 어렵습니다.
  3. 완화 전략 제한: 기존 완화 방법은 대량의 개념 주석을 요구하거나 이론적 보장이 부족합니다.

연구 동기

본 논문은 RS 문제에 대한 통일된 관점을 제공하고, 이 분야의 진입 장벽을 낮추며, 신뢰할 수 있는 NeSy AI 모델 개발을 촉진하는 것을 목표로 합니다.

핵심 기여

  1. 통일된 이론 프레임워크: 처음으로 RS 관련 분산 문헌을 체계적으로 통합하여 통일된 이론적 관점을 제공합니다.
  2. 수학적 형식화: 식별 가능성(identifiability)과 통계 학습 두 관점에서 RS를 엄격하게 수학적으로 특성화합니다.
  3. 포괄적 분류법: 기존 RS 완화 및 감지 전략을 체계적으로 분류하고 비교 분석합니다.
  4. 확장 논의: 강화 학습, 기초 모델 등 신흥 분야에서 RS의 표현과 과제를 탐구합니다.
  5. 실용적 지침: RS 진단, 예방 및 처리를 위한 실용적 방법과 도구를 제공합니다.

방법 상세 설명

작업 정의

신경-기호 예측기(NeSy Predictors): 입력 공간 X, 개념 공간 C, 레이블 공간 Y 및 사전 지식 K가 주어졌을 때, NeSy 예측기는 예측 결과가 정확하면서도 지식 제약을 준수하도록 하는 매핑을 학습합니다.

핵심 아키텍처

NeSy 예측기는 두 가지 주요 구성 요소로 이루어집니다:

  1. 개념 추출기: 신경망 f: X → ΔC, 입력을 개념 분포로 매핑합니다.
  2. 추론 계층: 기호 추론 β: ΔC → ΔY, 개념과 지식 K를 기반으로 레이블을 추론합니다.

네 가지 주요 아키텍처

1. 확률적 신경-기호 예측기(PNSPs)

p(y|x;K) = (1/Zx) ∑c 1{(c,y) |= K} p(c|x)

확률 논리를 통해 추론을 구현하여 예측이 지식 제약을 준수하도록 합니다.

2. 의미론적 손실(Semantic Loss)

SL(pθ, (x,y), K) = -log ∑c 1{(c,y) |= K} pθ(c|x)

지식을 미분 가능한 페널티 항으로 변환하여 훈련 중 일관성을 강제합니다.

3. 논리 텐서 네트워크(LTN)

퍼지 논리를 사용하여 부울 지식을 실수 함수로 변환합니다:

L(p,D,K) = 1 - (1/|D|) ∑(x,y)∈D TK(p(C|x), 1{Y=y})

4. 소급적 학습(ABL)

논리적 소급을 통해 의사 레이블을 생성합니다:

ĉ = argmin d(c̄, c') s.t. (c',y) |= K

추론 지름길의 형식적 정의

개념 재매핑 분포:

αf(g) := Ex∼p*(X|g)[f(x)]

지상 진실 개념이 학습된 개념으로 어떻게 매핑되는지를 설명합니다.

추론 지름길: NeSy 예측기가 최대 우도를 달성하지만 개념 매핑 αf ≠ id(항등 매핑)일 때 추론 지름길이 존재합니다.

이론적 분석

식별 가능성 관점

정리 4.4: NeSy 예측기가 최대 우도를 달성하는 필요충분조건은:

(β ∘ f)(X) = (β* ∘ f*)(X)

추론 4.5(식별 불가능성): 추론 계층 β이 단사가 아닐 때, 동일하게 최대 우도를 달성하는 여러 개념 추출기 f ≠ f가 존재합니다.

정리 4.10(결정론적 RS 계수): 결정론적 추론 지름길의 수는:

∑α∈Vert(AF) 1{∧g∈supp(G)(β* ∘ α)(g) = β*(g)} - 1

통계 학습 관점

지식 복잡도:

KC(K; p*) := Ey∼p*(Y)[∑c∈C 1{(c,y) ≠|= K}]

정리 4.15(무한 RS 위험): KC(K; p*) < |C|-1일 때, 레이블 위험은 0이지만 개념 위험이 무한대로 수렴하는 개념 추출기가 존재합니다.

완화 전략 분석

감독 전략

  1. 개념 감독: 개념 주석을 직접 제공하며, 효과는 최고이지만 비용이 높습니다.
  2. 다중 작업 학습: 여러 NeSy 작업을 공동으로 훈련하여 지식 제약을 강화합니다.

비감독 전략

  1. 재구성 학습: 재구성 손실을 통해 개념 붕괴를 방지합니다.
  2. 대조 학습: 유사한 입력이 동일한 개념을 생성하도록 권장합니다.
  3. 엔트로피 최대화: 개념 분포의 균일성을 촉진합니다.
  4. 아키텍처 분리: 다양한 객체의 개념을 독립적으로 처리합니다.

감지 전략

  1. BEARS: 앙상블 학습을 통해 RS 인식 모델을 구축합니다.
  2. NeSyDM: 확산 모델을 사용하여 독립성 가정을 초월합니다.

실험 검증

벤치마크 데이터셋

  • MNIST-Add: 숫자 덧셈 작업
  • BDD-OIA: 자동 운전 시나리오
  • Kandinsky: 추상 시각 추론

주요 발견

  1. RS의 보편성: 여러 벤치마크 데이터셋에서 RS 현상이 관찰됩니다.
  2. 완화 효과의 차이: 개념 감독이 가장 효과적이며, 비감독 방법의 효과는 제한적입니다.
  3. 아키텍처 독립성: 다양한 NeSy 아키텍처가 모두 RS의 영향을 받습니다.

진단 도구

  • countrss 도구: 모델 계수를 통해 RS 수량을 추정합니다.
  • 개념 붕괴 지표: 개념 품질 저하 정도를 정량화합니다.

확장 응용

강화 학습에서의 RS

신경-기호 강화 학습에서 RS는 개념 이름 바꾸기로 나타나며, 단일 작업 성능에는 영향을 주지 않지만 다중 작업 일반화 능력을 손상시킵니다.

기초 모델에서의 RS

대규모 언어 모델은 "기호 환각" 현상을 보일 수 있으며, 이는 NeSy의 RS와 유사하지만 기존 이론 프레임워크의 확장이 필요합니다.

개념 병목 모델에서의 결합 RS

추론 계층도 학습해야 할 때 결합 추론 지름길(Joint RSs)이 나타나며, 문제가 더욱 복잡해집니다.

결론 및 논의

주요 결론

  1. RS는 NeSy AI의 근본적 과제로, 기호 기초 문제에서 비롯됩니다.
  2. 이론 분석에 따르면 RS는 일반적인 경우 불가피합니다.
  3. 기존 완화 전략은 각각 장단점이 있으며, 응용 시나리오에 따라 선택해야 합니다.

한계

  1. 이론적 가정: 일부 이론 결과는 더 강한 가정 조건을 기반으로 합니다.
  2. 실용성 격차: 이론적 보장과 실제 응용 사이에 격차가 존재합니다.
  3. 계산 복잡성: RS 감지 및 완화의 계산 비용이 높습니다.

향후 방향

  1. 더 강력한 완화 전략: 이론적 보장과 실용성을 모두 갖춘 방법을 개발합니다.
  2. 자동 작업 구성: RS를 제거하는 데 도움이 되는 다중 작업 학습 설정을 자동으로 생성합니다.
  3. 대규모 벤치마크: 더욱 도전적인 실제 NeSy 데이터셋을 구축합니다.

심층 평가

장점

  1. 이론적 깊이: RS 문제에 대한 엄격한 수학적 특성화 및 이론 분석을 제공합니다.
  2. 포괄성: 분산된 관련 연구를 체계적으로 통합하여 통일된 프레임워크를 형성합니다.
  3. 실용적 가치: 구체적인 진단 도구 및 완화 전략을 제공합니다.
  4. 전망성: 신흥 AI 기술에서의 응용 전망을 논의합니다.

부족한 점

  1. 제한된 실험: 주로 상대적으로 단순한 벤치마크 데이터셋에 집중합니다.
  2. 방법 혁신: 더 많은 종합 작업이며, 원창적 방법 기여가 제한적입니다.
  3. 실용성: 이론 결과와 실제 응용의 전환이 추가 연구를 필요로 합니다.

영향력

  1. 학술적 가치: NeSy AI 연구에 중요한 이론적 기초를 제공합니다.
  2. 실용적 의의: 신뢰할 수 있는 AI 시스템 구축에 지도 가치가 있습니다.
  3. 분야 추진: 기호 기초 및 해석 가능한 AI 발전을 촉진할 것으로 예상됩니다.

적용 시나리오

본 연구는 특히 다음에 적합합니다:

  • 높은 해석 가능성이 필요한 AI 응용
  • 안전 관련 시스템의 AI 배포
  • 기호 추론과 신경망 결합 시나리오
  • 개념 학습 및 지식 통합 작업

참고 문헌

논문은 대량의 관련 작업을 인용하며, 주요 내용은 다음을 포함합니다:

  • 신경-기호 AI의 기초 이론 연구
  • 개념 병목 모델 및 해석 가능한 AI
  • 인과 표현 학습 및 식별 가능성 이론
  • 기호 기초 문제의 인지 과학 연구

본 논문은 신경-기호 AI의 기호 기초 문제에 대한 포괄적이고 심층적인 분석을 제공하며, NeSy 모델의 신뢰성 문제를 이해하고 해결하는 데 중요한 가치가 있습니다. 주로 종합 작업이지만, 이론적 기여와 실용적 지도 의의가 현저합니다.