LLM 추론 행동 패턴 주입으로 성능 향상

초록

본 논문은 대형 언어 모델(LLM)의 추론 과정에서 나타나는 행동 패턴을 체계적으로 분석하고, 이를 ‘패턴 주입’ 기법으로 활용해 파라미터를 전혀 수정하지 않고도 추론 정확도를 최대 8.67% 향상시키는 두 가지 방법(InjectCorrect, InjectRLOpt)을 제안한다.

상세 분석

본 연구는 LLM의 추론을 일련의 행동 단위(O, P, S, E, V, C)로 분해하고, 각 행동이 나타나는 순서를 ‘추론 행동 체인’이라 정의한다. 행동 체인에서 n‑gram(예: OP, PV, ESV) 빈도를 통계적으로 계산해 행동 패턴의 분포를 추정하고, 정답과 오답, 짧은 추론과 긴 추론 사이의 차이를 정량적으로 보여준다. 특히 정답 샘플에서 OP·PV·ESV와 같은 유용한 마이크로 전략이 높은 빈도로 등장하는 반면, 오답에서는 비효율적·중복적 패턴이 과다하게 나타나는 것을 확인한다. 이러한 관찰은 “행동 패턴 자체가 추론 품질에 직접적인 영향을 미친다”는 가설을 뒷받침한다.

패턴 주입 메커니즘은 변수‑order n‑gram 모델을 기반으로, 현재까지 발생한 행동 컨텍스트 cₜ에 대해 사전 구축된 행동 코퍼스 D에서 조건부 확률 P(b | cₜ) 를 샘플링한다. 여기서 n은 최대 컨텍스트 길이이며, 초기 단계에서는 자동으로 짧은 컨텍스트로 백오프한다. 두 가지 구체적 주입 방법이 제안된다.

1. InjectCorrect: 모델이 과거에 정답을 도출할 때 사용한 행동 체인들을 수집하고, 현재 추론 중인 질문에 대해 동일한 행동 n‑gram을 샘플링한다. 즉, “정답 행동 패턴을 그대로 모방”함으로써 모델이 성공적인 추론 흐름을 재현하도록 유도한다.

2. InjectRLOpt: 행동 체인에 대한 가치 함수 V(b, cₜ)를 강화학습 방식으로 학습한다. 가치 함수는 행동이 최종 정답에 기여한 정도를 보상으로 반영한다. 이후 ‘Reliability‑Aware Softmax Policy’를 적용해, 각 후보 행동에 대해 신뢰도 r(b, cₜ) = σ(V) 를 곱한 소프트맥스 확률을 계산하고, 높은 신뢰도를 가진 행동을 우선적으로 주입한다. 이 과정은 추론 시점에 동적으로 행동을 선택하므로, 상황에 맞는 최적의 마이크로 전략을 실시간으로 적용할 수 있다.

실험은 Qwen‑3‑8B, GPT‑4‑Turbo 등 여러 최신 LLM을 대상으로 GPQA, GSM‑8K, Code‑Alpaca 등 다양한 추론 벤치마크에서 수행되었다. InjectCorrect은 평균 5.34%의 정확도 상승을, InjectRLOpt은 평균 8.67%의 상승을 기록했으며, 특히 복잡한 수학·코딩 문제에서 효과가 두드러졌다. 파라미터를 전혀 업데이트하지 않음에도 불구하고, 행동 주입만으로도 기존 CoT, Tree‑of‑Thoughts 등 기존 프롬프트 기반 기법을 능가하는 결과를 보였다.

한계점으로는 행동 체인 분류 규칙이 수동 설계돼 도메인에 따라 재조정이 필요하고, 행동 패턴 코퍼스가 충분히 다양하지 않을 경우 주입 효과가 감소한다는 점을 들 수 있다. 또한 가치 함수 학습에 사용된 보상 설계가 특정 태스크에 과적합될 위험이 존재한다. 향후 연구에서는 자동화된 행동 라벨링, 멀티‑모달 행동 패턴, 그리고 주입 정책의 메타‑학습을 통해 일반화 능력을 강화할 여지가 있다.