모호함과 불안정성을 구분하는 CLUES 프레임워크

초록

CLUES는 임상 텍스트‑투‑SQL 시스템을 두 단계(해석 → 답변)로 모델링하고, 출력 다양성을 입력 모호성(알레아터릭)과 모델 불안정성(에피스테믹)으로 분리한다. 해석 간 유사도와 답변 간 유사도를 그래프 형태로 표현한 뒤, Schur 보완을 이용해 조건부 불안정성 점수를 계산한다. 실험 결과 AmbigQA·SituatedQA와 임상 SQL 벤치마크에서 기존 Kernel Language Entropy보다 실패 예측 AUROC가 0.07~0.08 상승했으며, 고모호·고불안정 영역이 전체 오류의 51%를 차지해 효율적인 triage가 가능함을 보였다.

상세 분석

본 논문은 임상 전자건강기록(EHR) 접근을 위한 텍스트‑투‑SQL 시스템에서 발생하는 두 종류의 불확실성을 정량화하고, 각각에 맞는 운영 전략을 제시한다는 점에서 의미가 크다. 첫 번째는 사용자가 인식하지 못하는 입력 모호성이다. 예를 들어 “18세 이상 환자”라는 질문이 진단 시점의 나이인지 현재 나이인지를 명확히 하지 않으면 서로 다른 SQL이 생성된다. 두 번째는 LLM 자체의 불안정성으로, 동일 해석에 대해 서로 다른 답변이 생성되는 경우를 말한다. 기존의 불확실성 추정 방법은 단일 엔트로피 점수만 제공해 두 현상을 혼합한다.

CLUES는 이를 해결하기 위해 (1) 해석 단계와 답변 단계라는 두 레벨을 명시적으로 분리하고, (2) 해석 간 유사도 행렬 W_II와 답변 간 유사도 행렬 W_RR, 그리고 해석‑답변 연결 행렬 W_IR을 포함하는 이분 그래프 W를 구성한다. 유사도는 “두 해석이 동일한 SQL을 만들 가능성” 혹은 “두 답변이 동일한 의미를 갖는가”를 LLM 프롬프트로 평가해 0‑1 사이 값으로 얻는다.

핵심 수학적 기법은 Schur 보완이다. 전체 그래프의 라플라시안 L을 이용해 열역학적 엔트로피를 정의하고, W_RR에서 W_RI·(W_II+εI)^{-1}·W_IR를 차감해 조건부 유사도 행렬 S를 만든다. 이 S는 해석에 의해 설명되지 않는 답변 간 차이를 보존하므로, von Neumann 엔트로피 H_{R|I}=−Tr(ρ_S log ρ_S)는 모델 불안정성만을 반영한다. 부정확한 행렬이 PSD가 아닐 경우 고유값을 0으로 클리핑해 PSD로 보정한다.

실험은 세 단계로 진행된다. (i) AmbigQA와 SituatedQA에서 금본 해석을 사용해 H_R와 H_{R|I}의 실패 예측 AUROC를 비교했으며, CLUES가 평균 0.075 정도 향상된 점수를 기록했다. (ii) 임상 텍스트‑투‑SQL 데이터셋에 자체 구축한 다중 해석 라벨을 적용해, 고모호·고불안정 영역이 전체 오류의 절반 이상을 차지함을 확인했다. (iii) 실제 배포 환경에서 온‑더‑플라이 해석 생성 파이프라인을 연결해, 기존 Kernel Language Entropy와 비슷한 전체 성능을 유지하면서도 “모호함 → 사용자 재질문”, “불안정성 → 인간 검토”라는 운영 정책을 자동화했다.

또한 네 가지 불확실성 레짐(신뢰, 모호, 불안정, 복합)을 정의하고, 각 레짐에 맞는 라우팅 전략을 제시했다. 특히 고모호·고불안정 레짐이 전체 쿼리의 25%만 차지하지만 오류의 51%를 포함한다는 사실은 triage 비용을 크게 절감할 수 있음을 시사한다.

한계점으로는 (1) 유사도 평가에 LLM 프롬프트를 사용함에 따라 모델 자체의 편향이 전이될 가능성, (2) 해석 생성 비용이 높아 대규모 실시간 서비스에 적용 시 효율성 최적화가 필요함을 들 수 있다. 향후 연구에서는 자동 해석 후보 생성 모델을 경량화하고, 다중 모달(예: 이미지‑텍스트) 상황에서도 동일한 프레임워크를 확장하는 방안을 모색할 수 있다.