도메인 초월 환각 탐지를 위한 스파이크스코어

초록

본 논문은 단일 도메인에서 학습한 환각 탐지기가 다양한 관련 도메인에서도 높은 성능을 유지하도록 하는 일반화 가능한 환각 탐지(GHD) 문제를 정의한다. 초기 답변을 대화형으로 이어가며 생성된 다중 턴 대화에서 환각이 포함된 경우 불확실성 점수의 급격한 변동(스파이크)이 일관되게 나타나는 현상을 발견하고, 이를 정량화한 “SpikeScore”(두 번째 차분의 최대 절댓값)를 제안한다. 이 지표는 이론적 분리 경계와 실험적 검증을 통해 도메인 간 구분력을 확보함을 보이며, 여러 LLM과 6개 베이스라인 데이터셋에 대해 기존 방법들을 능가하는 교차 도메인 성능을 입증한다.

상세 분석

본 연구는 크게 네 가지 핵심 기여로 요약할 수 있다. 첫째, “일반화 가능한 환각 탐지(GHD)”라는 새로운 문제 정의를 제시한다. 기존의 환각 탐지 연구는 동일 도메인 내에서 높은 정확도를 달성했으나, 도메인 간 전이 성능이 급격히 저하되는 한계를 가지고 있었다. GHD는 단일 도메인(예: 수학)에서 라벨링된 데이터를 이용해 탐지기를 학습하고, 이를 전혀 보지 못한 다른 도메인(예: 상식, 대화)에서도 신뢰성 있게 판별하도록 요구한다.

둘째, 다중 턴 대화에서 나타나는 “불확실성 스파이크” 현상을 체계적으로 탐색한다. 초기 답변이 환각일 경우, 사용자가 후속 질문을 통해 모델을 재검증하면 모델은 자기 모순이나 입장 전환을 반복하며 급격한 확신 변화가 발생한다. 이를 정량화하기 위해 저자들은 SAPLMA와 같은 학습 기반 불확실성 점수를 사용해 각 턴마다 확률 점수를 얻고, 점수 시퀀스의 두 번째 차분(Δ²)의 절댓값을 구한다. 가장 큰 절댓값, 즉 Max|Δ²|를 “SpikeScore”라 명명하고, 이는 점수 곡선의 최고 급경사를 포착한다.

셋째, SpikeScore의 이론적 정당성을 제공한다. 논문에서는 평균과 분산이 특정 조건을 만족할 때, SpikeScore가 환각과 비환각 사이에 확률적 하한을 갖는 분리 경계를 제공한다는 정리를 제시한다. 이 정리는 두 번째 차분이 큰 경우(스파이크)와 작은 경우(안정) 사이의 통계적 차이가 도메인에 독립적일 가능성을 시사한다. 즉, 도메인 특성에 좌우되지 않는 보편적인 지표로서의 타당성을 확보한다.

넷째, 광범위한 실험을 통해 실용성을 검증한다. 저자들은 Llama‑3.2‑3B, Llama‑3.1‑8B, Qwen‑3‑8B, Qwen‑3‑14B 등 네 종류의 최신 LLM을 사용했으며, TriviaQA, CommonsenseQA, Belebele, CoQA, Math, SVAMP 등 여섯 개의 베이스라인 데이터셋을 교차 테스트하였다. 각 실험에서 하나의 데이터셋을 학습 도메인으로, 나머지를 테스트 도메인으로 설정해 총 6가지 시나리오를 구성했다. 결과는 SpikeScore 기반 탐지기가 기존의 SAPLMA, SEP, PRISM, ICR Probe 등 최신 방법들을 전반적으로 앞선다는 것을 보여준다. 특히, 도메인 간 성능 격차가 크게 감소했으며, F1 점수와 AUROC 모두 5~12%p 정도 향상되었다.

추가적으로, 저자들은 SpikeScore와 기존 점수(예: SAPLMA, SEP)를 결합한 하이브리드 방식이 순수한 훈련‑프리 방법(예: 퍼플렉시티, Reasoning Score)보다 현저히 우수함을 실험적으로 입증했다. 이는 내부 표현을 활용한 훈련 기반 점수가 불확실성 변동을 포착하는 데 필수적이라는 점을 강조한다.

전체적으로 이 논문은 “불확실성의 급격한 변동”이라는 직관적인 현상을 정량화하고, 이를 도메인-불변 지표로 전환함으로써 LLM의 환각 탐지에 새로운 패러다임을 제시한다. 향후 연구에서는 스파이크 검출을 다른 불확실성 신호(예: 토큰 레벨 엔트로피, 어텐션 분산)와 결합하거나, 실제 사용자 인터랙션 로그에 적용해 실시간 탐지 시스템을 구축하는 방향이 기대된다.