추론 토큰이 합리성을 만든다? 인퍼런스 시 스케일링과 자원 합리성

초록

본 논문은 변수 귀속 과제(VAT)를 통해 테스트‑타임 연산량을 늘리는 인퍼런스‑타임 스케일링이 별도의 비용 보상 없이도 모델에게 자원‑합리적 전략 전환을 유도한다는 점을 실증한다. IT 모델은 XOR·XNOR 함수에서 성능이 떨어지는 반면, 강화학습 기반 LRMs는 일관된 정확도를 유지한다.

상세 분석

이 연구는 두 종류의 대형 언어 모델, 즉 사전학습 후 CoT 스타일 데이터를 이용해 추론 토큰을 생성하도록 지도학습된 Instruction‑Tuned(IT) 모델과, 추론 토큰을 별도 “생각” 단계로 분리하고 최종 정답에 대한 보상을 강화학습(RL)으로 최적화한 Large Reasoning Model(LRM)을 비교한다. 핵심 실험 도구는 Variable Attribution Task(VAT)로, N개의 후보 변수와 T개의 입출력 시도(trial)를 제공하고, 사전에 정의된 2‑입력 Boolean 함수에 의해 출력이 결정되는 변수 쌍을 찾아야 한다.

VAT는 두 가지 전형적인 탐색 전략을 내재한다. ① Permutation 전략은 모든 ⟨N²⟩ 후보 쌍을 순차적으로 검증하므로 작업 기억(working memory) 부담이 낮지만, 최악의 경우 O(T·N²) 연산을 필요로한다. ② Elimination 전략은 각 트라이얼마다 불일치하는 쌍을 제거해 가며 가설 공간을 점진적으로 축소한다. 이 방식은 가설 공간을 유지·갱신해야 하므로 작업 기억 요구가 크지만, 특히 AND‑like(Conjunctive) 함수에서는 단일 양성 트라이얼만으로도 큰 영역을 제거할 수 있어 효율적이다. 반면 XOR·XNOR과 같은 비선형 함수는 각 트라이얼이 가설 공간을 거의 동일하게 나누어 주므로 pruning 효과가 미미하고, 유지 비용이 급증한다.

연구자는 정보 비율 ρ = 2ᵀ / ⟨N²⟩ 로 복잡도를 정량화하고, N을 3~16, T를 최소 트라이얼 수 + {0…5} 로 변동시켜 3,000개 이상의 샘플을 생성했다. 모델의 추론 과정을 외부 LLM(Kimi‑K2‑Instruct‑0905)에게 “Permutation”, “Elimination”, “Invalid”로 라벨링하도록 하여 전략 비율을 측정하였다. 결과는 다음과 같다.

1. 전략 전이: N이 작을 때는 대부분 Permutation을 사용하지만, N이 커짐에 따라 Elimination 비율이 급격히 상승한다. 이는 가설 공간이 제곱적으로 증가함에 따라 모델이 비용‑효율적인 pruning을 선호한다는 증거다.
2. 함수별 차이: Conjunctive·Disjunctive 함수에서는 Elimination 전이가 뚜렷하지만, XOR·XNOR에서는 전이가 억제된다. DeepSeek‑R1은 약간의 Elimination 전이를 보이지만 Qwen‑Thinking은 거의 Permutation에 머문다.
3. 성능 격차: IT 모델은 XOR·XNOR에서 정확도가 현저히 떨어지는 반면, LRMs는 전반적으로 높은 정확도를 유지한다. 이는 RL이 “추론 비용”을 암묵적으로 학습해 비효율적인 유지 비용을 최소화했음을 시사한다.
4. 통계 모델링: 로그⟨N²⟩·T, ρ 등 여러 변수에 대한 AIC‑비교 결과, 가설 공간 크기와 트라이얼 수가 Elimination 사용을 설명하는 주요 요인임이 확인되었다(p < 0.001).

이러한 발견은 “자원‑합리성(resource rationality)”이 별도 비용 보상 없이도 인퍼런스‑타임 스케일링 자체에서 자연스럽게 나타날 수 있음을 보여준다. 모델은 입력 복잡도와 논리 구조를 감지해 내부 연산 자원을 재배치하고, 비용‑효율적인 전략을 선택한다. 특히 RL 기반 LRMs는 비용‑효율성을 내재화함으로써 비단 연산량뿐 아니라 메모리 부담까지도 최소화한다는 점에서 인간의 메타인지적 제어와 유사한 행동을 보인다.

한계점으로는 전략 라벨링에 외부 LLM을 사용했기 때문에 라벨링 오류가 존재할 가능성, 그리고 실험이 Boolean 함수와 제한된 변수 쌍에 국한돼 있어 보다 복잡한 인과 추론이나 연속형 변수에 대한 일반화는 아직 검증되지 않았다. 향후 연구는 다양한 논리 구조, 다중 변수 조합, 그리고 실제 과학적 인과 추론 과제로 확장해 자원‑합리성의 보편성을 탐색할 필요가 있다.