VERGE: 검증 기반 LLM 추론을 위한 형식적 정제 엔진

초록

VERGE는 대형 언어 모델(LLM)의 답변을 원자적 주장으로 분해하고, 이를 자동으로 1차 논리식으로 형식화한 뒤 SMT 솔버와 결합해 논리적 일관성을 검증한다. 다중 모델 합의를 위한 형식적 의미 동등성 검사, 주장 유형에 따른 검증 라우팅, 최소 수정 집합(MCS) 기반 오류 위치 지정이라는 세 가지 핵심 기법을 도입해 반복적인 피드백 루프를 구현한다. 논리·수학적 주장에 대해서는 형식적 보장을, 상식·확률적 주장에 대해서는 LLM 앙상블 기반 합의를 제공함으로써 고신뢰 분야에서의 LLM 활용 가능성을 크게 높인다.

상세 분석

VERGE는 기존 LLM 기반 추론이 통계적 확률에만 의존해 논리적 오류를 방지하지 못한다는 문제점을 정확히 짚어낸다. 논문은 먼저 답변을 “원자적 주장”으로 분해하고, 각 주장을 자동으로 SMT‑LIB2 형식의 1차 논리식으로 변환한다(자동 형식화). 여기서 핵심은 다중 모델 합의이다. 동일한 자연어 주장에 대해 K=3개의 후보 논리식을 생성하고, 단순 문자열 일치가 아니라 양방향 함의 검증을 통해 의미적 동등성을 판단한다. 이는 변수명 교체, 논리 구조 재배열 등 형태적 차이를 무시하고 실제 논리적 동등성을 보장한다는 점에서 기존 BLEU·ROUGE 기반 합의와 확연히 구별된다.

다음으로 주장 유형 분류가 이루어진다. 논문은 주장들을 수학(τ_M), 논리(τ_L), 시간(τ_T), 확률(τ_P), 상식(τ_C), 모호(τ_V) 등 6가지 카테고리로 구분하고, 이를 기반으로 검증 라우팅을 수행한다. τ_M·τ_L·τ_T에 해당하는 경우는 Z3와 같은 SMT 솔버에 넘겨 형식적 증명·반증을 시도하고, τ_P·τ_C·τ_V는 LLM 기반 ‘소프트 검증’으로 전환한다. 이 라우팅은 자연어의 모호성을 무리하게 형식화하려다 발생하는 비결정성 문제를 회피하면서도, 가능한 영역에서는 강력한 형식적 보장을 제공한다는 실용적 장점을 가진다.

가장 혁신적인 부분은 MCS 기반 오류 위치 지정이다. SMT 검증 과정에서 불충족이 발견되면, 최소 수정 집합을 계산해 “어떤 원자적 서브클레임을 제거하거나 수정하면 일관성이 회복되는가”를 정확히 알려준다. 기존의 ‘binary failure’ 신호와 달리, MCS는 구체적인 피드백(예: “Barks Felix” 서브클레임을 삭제)으로 변환돼 LLM이 다음 반복에서 목표 지점을 명확히 인식한다. 논문은 이를 “그리디 MCS 근사(O(m·SAT) 시간)”로 구현해 실시간 피드백 루프를 가능하게 한다.

점수 집계 방식도 주목할 만하다. 각 주장에 대해 엔티얼(1.0), 소프트 서포트(0.9), 가능(0.7), 모순(0) 등 가중치를 부여하고, 전체 점수에 분산 기반 페널티를 적용한다. 이는 개별 주장들은 높은 신뢰도를 보이지만 전체적으로는 상호 모순을 일으키는 경우를 억제한다.

실험에서는 GPT‑OSS‑120B 모델에 VERGE를 적용해 10개 이상의 추론 벤치마크에서 평균 18.7% 성능 향상을 기록했다. 특히 논리·수학적 질문에서 30% 이상 정확도가 상승했으며, 상식·확률 질문에서는 기존 ‘self‑consistency’ 대비 12% 정도의 개선을 보였다.

전체적으로 VERGE는 형식적 검증과 신경망 기반 유연성을 조화시킨 하이브리드 프레임워크로, 고신뢰가 요구되는 법률·의료·금융 등 분야에서 LLM 활용을 보다 안전하게 만든다. 다만, 자동 형식화 단계에서 도메인‑특화 어휘나 복잡한 자연어 구조가 존재할 경우 변환 오류가 발생할 수 있으며, 현재는 K=3 후보만 사용해 합의 강도를 제한하고 있다. 향후에는 더 풍부한 후보 생성·다중 SMT 이론 지원, 그리고 MCS 기반 수정 제안을 실제 코드·데이터베이스 트랜잭션에 연결하는 연구가 필요하다.