문맥 귀속을 위한 제이슨‑섹션 발산 기반 메커니즘 연구

초록

본 논문은 Retrieval‑Augmented Generation(RAG) 모델에서 생성된 응답이 어느 문맥 문장에 근거했는지를 효율적으로 파악하기 위해, 추가 파인튜닝이나 서베이 모델 없이도 문맥 문장별 Jensen‑Shannon Divergence(JSD)를 계산해 중요 문장을 순위화하는 ARC‑JSD 방법을 제안한다. TyDi QA, Hotpot QA, Musique 등 3대 QA 벤치마크와 Qwen2·Gemma2 계열의 다양한 규모 LLM에 적용해 기존 서베이 기반 방법 대비 10% 이상 정확도 향상과 3배 가량의 연산 효율성을 입증하였다. 또한 Logit Lens와 결합한 메커니즘 분석을 통해 특정 어텐션 헤드와 MLP 레이어가 문맥 귀속에 핵심적인 역할을 함을 밝혀, 해당 컴포넌트를 조절함으로써 환각률을 감소시킬 수 있음을 보였다.

상세 분석

ARC‑JSD는 “전체 문맥을 사용한 응답 분포와, 하나의 문장을 제외한 문맥을 사용한 응답 분포 사이의 Jensen‑Shannon Divergence을 측정한다”는 간단한 가정에 기반한다. JSD는 대칭적이며 유한 구간(