법정 교차신문 단조 진행 강제와 장기 정체 방지

초록

본 논문은 법정 교차신문이라는 장기 절차적 과제에서 LLM이 절차적 진행을 놓치는 문제를 ‘절차적 정체’라 정의하고, 외부 유한 상태 기계(FSM)를 이용해 키 정보 단위(KIU)의 누적을 단조적으로 강제하는 Soft‑FSM 구조를 제안한다. 실제 대만 형사 살인 사건 3건을 대상으로 실험한 결과, 기존 순수 LLM 및 단계 프롬프트 방식은 40% 이하의 완성도를 보이는 반면, Soft‑FSM은 97% 이상, 중복도 거의 0%에 가까운 성능을 달성하였다. 이는 장기 절차적 작업에서 순수 확률적 언어 생성만으로는 신뢰할 수 있는 완성을 보장할 수 없으며, 명시적 외부 상태 제어가 필요함을 시사한다.

상세 분석

본 연구는 법정 교차신문이라는 비대칭 대화 환경을 ‘정보 누적을 통한 DAG(Directed Acyclic Graph) 탐색’ 문제로 공식화한다. 질문자(인콰이어러)는 전역적인 전략적 결정을 내려야 하지만, 답변자는 단순히 사실을 제공하는 수동적 역할에 머문다. 이러한 구조적 비대칭은 초기 몇 차례의 절차적 오류가 이후 가능한 상태 공간을 급격히 축소시켜, 장기 대화가 진행될수록 성공 확률이 기하급수적으로 감소하는 ‘복잡성 클리프(Complexity Cliff)’ 현상을 야기한다. 논문은 이를 수학적으로 𝑃(failure)≥1−(1−ε)ⁿ 형태의 실패 확률 경계식으로 표현한다.

LLM은 토큰 수준의 다음 단어 확률을 최적화하기 때문에, 전역적인 절차적 목표보다는 국소적인 언어 일관성에 편향된다. 따라서 ‘절차적 정체(Procedural Stagnation)’ 영역에 빠지면, 대화는 겉보기에 일관된 문장을 생성하지만 KIU 집합 |Kₜ|는 증가하지 않는다. 저자는 이를 R_stagnant = { (sₜ, sₜ₊₁) | φₜ₊₁≠φₜ ∧ |Kₜ₊₁|=|Kₜ| } 로 정의하고, 기존의 자체 검증(self‑check)이나 균형 프롬프트(equilibria prompting) 기법이 이러한 정체를 근본적으로 차단하지 못함을 실험적으로 입증한다.

Soft‑FSM은 외부 deterministic finite‑state controller를 도입해 절차적 전이를 KIU 증가 조건(|Kₜ₊₁|>|Kₜ|)에만 허용한다. 구체적으로, 각 단계마다 필수 KIU 목록을 사전 정의하고, LLM은 현재 상태와 미충족 KIU를 입력받아 질문을 생성한다. 질문에 대한 응답은 사전 구축된 ‘오라클 증인’이 제공하며, 이는 실제 판결문에서 추출한 사실을 그대로 반환한다. 이렇게 하면 언어 생성과 절차적 의사결정이 명확히 분리돼, LLM의 확률적 변동성은 질문 품질에만 영향을 미치고, 절차적 진행 자체는 외부 FSM이 보증한다.

실험 설계는 세 가지 실제 형사 살인 사건을 대상으로, 각 사건마다 40여 개 이상의 KIU를 정의하고 완전 회수 여부를 측정한다. 비교 대상은 (1) 순수 LLM, (2) 단계 프롬프트 기반 SOP, (3) Soft‑FSM, (4) 균형 프롬프트이다. 주요 평가지표는 완성도(Completeness), 중복도(Redundancy), 알 수 없음 비율(Unknown Rate), 그리고 실행 안정성(Stability)이다. 결과는 Soft‑FSM이 모든 케이스에서 97 %‑99 %의 완성도를 보이며, 표준편차가 거의 0에 가까워 안정성이 뛰어남을 보여준다. 반면, 순수 LLM과 단계 프롬프트는 복잡도가 증가할수록 완성도가 급격히 떨어지고, 중복도와 알 수 없음 비율이 크게 증가한다. 특히 단계 프롬프트는 질문이 동일 KIU를 반복적으로 겨냥하는 ‘패러프레이징 루프’에 빠지는 경향을 보였다.

이러한 결과는 장기 절차적 작업에서 ‘행동 일관성(behavioral coherence)’과 ‘절차적 진전(procedural progress)’이 별개의 차원임을 강조한다. LLM만으로는 전역 목표 달성을 보장할 수 없으며, 명시적이고 검증 가능한 외부 상태 제어가 필수적이다. 논문은 또한 Soft‑FSM이 기존 neuro‑symbolic 접근과 달리, 완전한 상태 전이 검증을 통해 ‘단조 진행(monotonic progress)’을 강제함으로써, 법정과 같은 고위험 도메인에서 신뢰성을 크게 향상시킬 수 있음을 시사한다. 향후 연구에서는 자동 KIU 추출, 다중 에이전트 협업, 그리고 비정형 법률 문서와의 통합을 통해 시스템의 범용성을 확대할 여지를 제시한다.