LLM 추론 능력 지도 형식화된 교정 탐지

초록

X‑RAY는 형식 검증된 프로브를 이용해 대형 언어 모델의 추론 구조를 정량화한다. 제약 상호작용, 추론 깊이, 해 공간 기하 등 추출 가능한 구조를 파라미터화하고, 이를 단계별로 교정·검증함으로써 모델이 제약 강화에는 강건하지만 해 공간 재구성에는 급격히 성능이 떨어지는 비대칭성을 발견한다.

상세 분석

본 논문은 LLM의 추론 능력을 “추출 가능한 구조”라는 개념으로 재정의하고, 이를 정량화하기 위한 X‑RAY 프레임워크를 제안한다. 구조는 크게 세 가지 형식적 속성으로 나뉜다. 첫째, 제약 상호작용(constraint interaction)은 여러 조건이 서로 어떻게 결합되는지를 나타내며, 조건이 추가될수록 해 공간이 축소되는 정도를 측정한다. 둘째, 추론 깊이(reasoning depth)는 문제 해결에 필요한 단계 수 혹은 논리적 연쇄의 길이를 의미한다. 셋째, 해 공간 기하(solution‑space geometry)는 가능한 해들의 분포 형태와 차원 구조를 포괄한다.

X‑RAY는 이러한 속성을 제어 가능한 파라미터로 변환한 뒤, 자동 포멀라이저와 SMT 솔버(Z3)를 활용해 정확한 정답을 보장하는 프로브를 생성한다. 프로브 생성 과정은 두 단계로 이루어진다. (1) 자동 포멀라이즈 단계에서 자연어 문제를 제약식 모델로 변환하고, 변수와 제약을 명시적으로 드러낸다. (2) 교정·검증 단계에서는 동일한 제약 토폴로지를 유지하면서 난이도를 조절하기 위해 변수 범위, 추가 제약, 혹은 해 공간의 차원을 미세하게 변형한다. 이렇게 하면 표면적인 언어 변형이 아니라 구조적 변형만이 모델에 영향을 미치게 된다.

실험은 수학(우표 문제, N‑프리머블 수), 물리(충돌 충격량), 화학 등 3개 분야에서 junior‑level부터 advanced‑level까지 다양한 난이도의 프로브를 사용했다. 주요 발견은 두 가지 비대칭적 현상이다. 첫째, 제약 정제(Constraint Refinement)—조건이 추가되어 기존 해 공간을 단순히 축소시키는 경우—모델은 비교적 안정적인 성능을 보인다. 이는 LLM이 기존 해 집합을 유지하면서 추가 조건을 필터링하는 능력이 있음을 시사한다. 둘째, 해 공간 재구성(Solution‑Space Restructuring)—조건이 기존 구조를 근본적으로 바꾸어 새로운 해 형태를 요구하는 경우—성능이 급격히 저하된다. 특히 GPT‑4o는 재구성 상황에서 성공률이 급격히 떨어지는 반면, o4‑mini은 전반적으로 낮은 변동성을 보이며, 두 모델 사이에 구조적 추론 능력의 질적 차이가 드러난다.

또한 X‑RAY는 오염 방지(contamination‑free) 설계 덕분에 기존 벤치마크와 달리 데이터 누수나 라벨링 오류가 실험에 미치는 영향을 최소화한다. 프로브가 자동으로 생성·검증되므로, 연구자는 동일한 프레임워크 내에서 새로운 도메인이나 난이도 수준을 손쉽게 추가할 수 있다. 마지막으로, 단계별 검증 결과를 활용해 교육용 커리큘럼을 설계할 수 있다. 예를 들어, 모델이 제약 정제 단계에서는 높은 성공률을 보이지만 재구성 단계에서 실패한다면, 해당 단계의 중간 결과(예: 변수 할당, 중간 식)만을 정답으로 제공해 미세 튜닝을 진행함으로써 구조적 재구성 능력을 강화할 수 있다.

요약하면, X‑RAY는 형식적 검증과 구조적 파라미터화를 결합해 LLM의 추론 능력을 정밀하게 지도화하고, 기존 정확도 중심 평가가 놓치기 쉬운 “구조적 약점”을 드러낸다. 이는 앞으로 LLM을 추론 전용 모델로 발전시키는 데 필요한 평가·학습 인프라로서 큰 의미를 가진다.