잠재 계획을 활용한 대형 언어 모델 추론
📝 원문 정보
- Title: iCLP: Large Language Model Reasoning with Implicit Cognition Latent Planning
- ArXiv ID: 2512.24014
- 발행일: 2025-12-30
- 저자: Sijia Chen, Di Niu
📝 초록 (Abstract)
대형 언어 모델(LLM)은 명시적인 텍스트 계획에 의해 단계별 추론을 수행하면 높은 신뢰성을 보이지만, 정확하고 효과적인 텍스트 계획을 생성하는 일은 모델의 환각 현상과 과제별 질문의 다양성 때문에 어려운 과제이다. 인간의 암묵적 인지(Implicit Cognition)에서 영감을 얻어, 우리는 LLM이 명시적인 계획을 잠재적인 형태(LP, Latent Plan)로 압축·인코딩하여 내재적으로 활용하도록 하는 iCLP 프레임워크를 제안한다. iCLP는 먼저 기존 단계별 추론 궤적에서 명시적 계획을 추출하고, 이를 벡터 양자화(auto‑encoder)와 코드북을 이용해 이산적 잠재 표현으로 변환한다. 이후 LLM을 잠재 계획과 해당 추론 단계 쌍으로 미세조정함으로써, 모델이 언어 공간에서 추론하면서도 잠재 공간에서 계획을 수행하도록 학습한다. 수학적 추론 및 코드 생성 벤치마크에서 iCLP를 적용한 결과, 정확도와 효율성이 크게 향상되었으며, 특히 도메인 간 일반화 능력이 강화되고 체인‑오브‑생각(Chain‑of‑Thought) 추론의 해석 가능성도 유지되는 것을 확인하였다.💡 논문 핵심 해설 (Deep Analysis)
학습 파이프라인은 크게 세 단계로 구성된다. ① 계획 추출 단계에서는 기존 CoT 데이터셋에서 단계별 설명을 분리하고, 각 단계에 대응하는 명시적 계획(예: “문제 이해 → 식 세우기 → 계산”)을 자동으로 라벨링한다. ② 잠재 표현 학습 단계에서는 추출된 계획을 입력으로 VQ‑VAE(벡터 양자화 변분 오토인코더)를 훈련시켜, 연속적인 임베딩을 사전 정의된 코드북의 이산 토큰으로 매핑한다. 이때 코드북 크기와 양자화 손실을 조절함으로써 표현의 압축도와 재구성 정확도 사이의 트레이드오프를 최적화한다. ③ LLM 미세조정 단계에서는 원본 질문과 대응하는 잠재 계획 코드를 쌍으로 제공하고, 모델이 텍스트 기반 추론을 진행하면서 내부적으로 해당 코드를 참조하도록 학습한다. 결과적으로 모델은 “잠재 계획 → 언어 추론”이라는 두 단계 흐름을 내부적으로 구현한다.
실험에서는 수학 문제 풀이(MATH, GSM8K)와 코드 생성(HumanEval) 두 분야에서 iCLP를 적용하였다. 동일한 파라미터 규모의 베이스라인 LLM에 비해 정확도는 평균 47%p 상승했으며, 추론 시 텍스트 계획을 생성하는 비용이 사라져 토큰 사용량과 연산 시간이 1520% 감소했다. 특히, 훈련에 사용되지 않은 새로운 수학 도메인(예: 대수학)이나 새로운 프로그래밍 언어(예: Rust)에서도 성능 저하가 미미했는데, 이는 잠재 계획이 도메인 독립적인 논리 구조를 포착했기 때문으로 해석된다.
해석 가능성 측면에서도 iCLP는 완전한 “블랙박스”가 아니다. 코드북 토큰을 역변환하면 인간이 이해할 수 있는 텍스트 계획을 복원할 수 있으므로, 추론 과정에서 어떤 잠재 계획이 선택되었는지 추적이 가능하다. 이는 기존의 “잠재 공간 계획” 접근법이 종종 해석 불가능한 점을 보완한다.
하지만 몇 가지 한계도 존재한다. 첫째, 코드북 크기를 크게 잡을 경우 메모리 요구량이 급증하고, 반대로 작게 잡을 경우 복잡한 논리 구조를 충분히 표현하지 못한다. 둘째, 현재는 사전 훈련된 LLM에 추가적인 미세조정을 수행해야 하므로, 완전한 “프롬프트‑전용” 솔루션에 비해 적용 비용이 높다. 셋째, 잠재 계획이 실제 인간의 사고 과정과 얼마나 일치하는지는 정량적으로 평가하기 어렵다. 향후 연구에서는 동적 코드북 업데이트, 멀티모달 계획(예: 그래프 기반) 도입, 그리고 인간‑모델 협업을 통한 계획 검증 메커니즘을 탐색할 필요가 있다. 전반적으로 iCLP는 LLM이 텍스트와 잠재 공간을 동시에 활용해 효율적이고 일반화 가능한 추론을 수행하도록 하는 중요한 전환점이 될 것으로 기대된다.
📄 논문 본문 발췌 (Excerpt)
📸 추가 이미지 갤러리
