양자 텐서 네트워크 기반 대형언어모델 환각 불확실성 정량화

초록

본 논문은 대형언어모델(LLM)의 환각 현상을 토큰 시퀀스 확률의 알레아토릭 불확실성을 양자 텐서 네트워크(QTN)와 퍼터베이션 이론을 이용해 정량화한다. 제안된 프레임워크는 토큰 확률을 파동함수로 해석하고, 1차 퍼터베이션 보정을 통해 지역적 불확실성을 추출한다. 이를 기반으로 엔트로피 최대화와 KL 패널티를 결합한 조정식으로 토큰 확률을 보정하고, 의미적 엔트로피와 결합해 의미 기반 클러스터링을 수행한다. 다양한 LLM(예: Mistral, Falcon, LLaMA)과 QA·요약 데이터셋에서 기존 방법 대비 AUROC·AURAC가 크게 향상됨을 실험적으로 입증한다. 또한 양자 기반 불확실성 측정이 양자화 수준·생성 길이에 강인함을 보여, 자원 제한 환경에서도 실용성을 확보한다.

상세 분석

이 논문은 LLM의 환각을 “동일 프롬프트에 대해 무작위하게 변하는 유창하지만 사실과 맞지 않는 출력”으로 정의하고, 기존의 베이지안 딥러닝이나 단순 토큰 엔트로피가 의미적 변동을 포착하지 못한다는 한계를 지적한다. 핵심 아이디어는 토큰 시퀀스 확률 P(s|y)를 양자 물리학에서 파동함수 ψ와 동등하게 취급하고, 이를 양자 텐서 네트워크(QTN)의 고유모드 중 하나로 매핑한다는 점이다. QTN의 해밀토니안 H에 작은 퍼터베이션을 가하면 고유에너지와 고유함수가 1차 보정값을 갖게 되며, 이 보정값이 토큰 확률 분포의 지역적 변동성을 정량화한다. 식(5)와 (6)에서 제시된 V^(1)_m(x)와 UQ(p_s)는 각각 모드별 라플라시안(∇²)과 그 평균을 이용해 불확실성 스펙트럼을 만든다. 여기서 라플라시안이 클수록 해당 확률 구간이 불안정함을 의미한다.

불확실성 추정 후, 저자들은 엔트로피 최대화 원리를 적용한다. 식(7)에서는 조정된 토큰 확률 p*_s를 Rényi 엔트로피(−log p²)와 KL(p‖p*) 사이의 가중합을 최소화하도록 정의한다. λ 파라미터는 엔트로피 상승과 원본 확률 보존 사이의 트레이드오프를 조절한다. 불확실성이 높은 구간에서는 KL 패널티가 약해져 엔트로피가 크게 증가하고, 불확실성이 낮은 구간에서는 원본 확률에 가까운 값을 유지한다. 이렇게 보정된 확률은 의미적 엔트로피(semantic entropy, SE)와 결합해 클러스터링에 활용된다. 클러스터는 양방향 함축(DeBERTa) 기반 엔테일먼트 점수로 형성되며, 각 클러스터의 확률 가중합 p_c를 통해 전체 의미적 Rényi 엔트로피 SE_R(y)를 계산한다. 높은 SE_R은 의미적 다양성이 크고, 따라서 환각 가능성이 높다고 판단한다.

실험 설계는 네 가지 벤치마크(TriviaQA, NQ, SVAMP, SQu�AD)와 8가지 LLM 아키텍처를 대상으로 116개의 실험을 수행한다. 주요 평가지표는 AUROC와 AURAC이며, 제안 방법은 기존의 Semantic Entropy, Kernelized Likelihood Entropy, SNNE 등과 비교해 평균 4~7%p 상승을 보였다. 특히 양자화 비트 수(4‑bit, 8‑bit)와 생성 길이(짧은 구문부터 문단 수준) 변화에 대해 안정적인 성능을 유지했으며, 연산 비용은 단일 퍼터베이션 단계와 엔트로피 최적화 단계만 포함해 기존 샘플링 기반 방법보다 30% 이하로 감소했다.

이 접근법의 강점은 (1) 물리적 해석 가능성: 퍼터베이션 이론을 통해 “불확실성 = 파동함수의 변동성”이라는 직관적 의미를 제공한다. (2) 계산 효율성: 한 번의 전방 패스와 선형 대수 연산만으로 불확실성을 추정한다. (3) 확장성: 양자화 수준·생성 길이에 대한 로버스트성을 입증했으며, 경량 모델에서도 적용 가능하다. 다만, QTN 해밀토니안 설계가 경험적이며, 복잡한 토큰 의존성을 완전히 포착하지 못할 가능성이 있다. 향후 연구에서는 다중 모드 퍼터베이션, 비선형 커널, 그리고 외부 지식 그래프와의 결합을 통해 더욱 정교한 불확실성 모델을 구축할 여지가 있다.