단일 문서 기반 완전 신뢰 답변 구축을 위한 새로운 프레임워크

초록

본 논문은 대형 언어 모델이 단일 문서에서 정보를 추출할 때 발생하는 누락과 허위 생성 문제를 해결하기 위해, 추출‑검증‑열거(Extraction‑Validation‑Enumerate, EVE)라는 3단계 구조화된 파이프라인을 제안한다. 독립적인 다중 질의를 통해 후보를 폭넓게 수집하고, 다수결 투표 기반 검증으로 오류를 억제한 뒤, 검증된 요소들을 체계적으로 열거해 최종 답변을 만든다. 이 방식은 이론적으로 오류 확률을 지수적으로 감소시키며, STPA 안전 분석 실험에서 기존 단일 패스 생성 대비 재현율·정밀도·F1 점수가 각각 최대 24 %, 29 %, 31 % 향상됨을 보인다.

상세 분석

EVE 프레임워크는 기존 LLM 기반 질의응답이 “높은 확률의 연속”에 의존해 답변의 완전성과 사실성을 보장하지 못한다는 근본적인 한계를 구조적 단계 분리로 극복한다. 첫 번째 ‘추출 단계’에서는 문서 D에 대해 Mₑ개의 독립적인 질의를 생성해 가능한 모든 후보 요소 C를 최대한 포괄한다. 이때 각 질의는 서로 다른 관점(예: 정의, 예시, 관계)을 반영하도록 설계되어, 개별 질의 실패 확률 pᵢ,ₑ가 0.6 수준이라도 Mₑ가 4이면 전체 누락 확률은 (1‑p)⁴≈0.025로 급격히 감소한다. 두 번째 ‘검증 단계’에서는 각 후보에 대해 Mᵥ개의 독립 검증 질의를 수행하고, 다수결 투표로 정당성을 판단한다. 검증 질의의 오류율이 50 % 이하이면, Chernoff 경계에 의해 전체 오류 확률은 2·exp(‑Mᵥ·(2p‑1)²/2) 형태로 지수적으로 감소한다. 즉, Mᵥ가 4일 경우 오류 확률이 0.05 이하로 떨어진다. 검증 과정은 또한 동일 실체에 대한 별칭을 통합해 후보 집합을 정제한다. 마지막 ‘열거 단계’에서는 검증된 각 요소에 대해 설명 질의 Q_f를 발행해 문서‑조건부 상세 설명을 생성한다. 이 단계는 상위 레벨 컨트롤러가 미리 정의한 스켈레톤 구조에 따라 순차적으로 진행되므로, 생성 길이 제한에 의해 발생하는 트렁케이션 문제를 회피한다. 전체 파이프라인은 “고분산·저변동”의 독립 질의를 통해 오류 공간을 압축하고, “저분산·고확정성”의 검증·열거로 최종 답변의 완전성과 사실성을 보장한다. 이론적 분석과 실험 결과는 EVE가 기존 RAG, CoT, 프로그램‑보조 방식보다 오류 감소 효과가 더 강력함을 입증한다. 특히 안전‑중요 도메인인 STPA(시스템‑이론적 프로세스 분석) 데이터셋에서 여러 최신 LLM에 적용했을 때, 재현율이 최대 24 % 상승하고 정밀도가 29 % 향상되는 등, 기존 단일 패스 생성이 겪는 ‘포괄성‑정확성 트레이드오프’를 실질적으로 해소한다. 다만, 자연어 자체의 모호성으로 인해 완전한 오류 제거는 불가능하며, 성능 포화 현상이 관찰된다. 이는 언어 기반 추론의 근본적 한계로, 향후 구조화된 메타데이터나 외부 지식 그래프와의 결합이 필요함을 시사한다.