인컨텍스트 학습된 표현, 실제 작업에선 활용 못한다

초록

본 논문은 대형 언어모델이 컨텍스트 안에서 새로운 토큰 간의 관계를 학습해 내부 표현을 형성하지만, 이러한 인컨텍스트 표현을 다음 토큰 예측이나 적응형 세계 모델링 같은 다운스트림 과제에 활용하는 데는 크게 실패한다는 점을 실험적으로 입증한다. 오픈‑소스 모델은 특히 “Instruction” 조건에서 성능이 급락하고, 최신 폐쇄형 추론 모델조차 제한적인 성공만 보인다.

상세 분석

이 연구는 두 가지 핵심 질문을 다룬다. 첫째, 그래프 트레이싱 작업을 통해 LLM이 인컨텍스트에서 새로운 의미(예: 임의의 토큰을 2차원 격자상의 상태로 매핑) 를 학습할 수 있는가? 둘째, 이렇게 학습된 내부 표현을 실제 추론 단계에서 활용할 수 있는가?
먼저, 저자들은 Park et al. (2025a)의 그래프 트레이싱 방식을 재현한다. 무작위 워크를 통해 1D 라인 혹은 2D 격자 토폴로지를 만든 뒤, 모델의 은닉층 표현을 평균화하고 Dirichlet Energy와 Distance Correlation이라는 두 메트릭으로 토폴로지와의 정합성을 측정한다. 실험에 사용된 모델은 Gemma‑3‑4b/12b/27b‑it와 OLMo‑2‑13b 등 최신 오픈‑소스 모델이며, 토폴로지 차원과 크기에 따라 4가지 조건을 모두 테스트한다. 결과는 기존 연구와 일치하게, 컨텍스트 길이가 늘어날수록 은닉 표현이 토폴로지를 잘 재현한다는 점을 보여준다.
하지만 이러한 “학습”이 실제 사용으로 이어지는지는 별도의 평가가 필요했다. 이를 위해 두 가지 다운스트림 과제를 설계했다. 첫 번째는 “Instruction” 조건과 “Prefilled” 조건을 구분한 다음 토큰 예측이다. Instruction 조건에서는 사용자 메시지에 무작위 워크가 포함돼 모델이 중간 토큰을 삽입해야 하므로, 학습된 표현을 일정 시간 뒤에 활용해야 한다. 반면 Prefilled 조건에서는 모델 응답에 바로 워크가 포함돼 즉시 활용한다. 실험 결과, 모든 모델이 Prefilled에서는 높은 정확도를 보였지만, Instruction에서는 급격히 성능이 떨어졌다. 이는 인컨텍스트에서 형성된 표현이 “지연”될 경우 거의 비활성화(inert)된다는 강력한 증거다.
두 번째 과제인 Adaptive World Modeling(AWM)은 그래프 트레이싱 뒤에 몇 개의 예시를 제시해 특정 규칙(예: 두 단계 아래 위치로 이동)을 학습하도록 요구한다. 여기서는 규칙이 워크에 직접 나타나는 1‑step과 워크와 무관한 2‑step 두 변형을 모두 테스트했다. 결과는 다시 한 번, 오픈‑소스 모델이 토폴로지를 내부에 잘 인코딩했음에도 불구하고 규칙 적용 단계에서 일관된 성공을 거두지 못함을 보여준다.
폐쇄형 최첨단 추론 모델(Chain‑of‑Thought 기반)도 동일한 AWM 과제에 적용했지만, 성능이 약간 향상될 뿐 전반적으로 신뢰할 만한 수준에 미치지 못했다. 이는 외부화된 추론 단계가 일부 경우에 은닉 표현을 “깨우는” 역할을 할 수는 있지만, 근본적인 표현‑활용 격차를 해소하기엔 부족함을 의미한다.
이 논문의 주요 시사점은 다음과 같다. (1) 인컨텍스트 표현 학습과 실제 활용은 별개의 능력이며, 현재 LLM은 후자를 충분히 갖추지 못했다. (2) 모델이 표현을 즉시 사용하도록 설계된 프롬프트(Pre‑filled)와는 달리, 인간이 일반적으로 기대하는 “지연된” 활용 상황에서는 성능이 급락한다. (3) 기존의 CoT 추론 메커니즘이 일부 보조 역할을 할 수는 있지만, 근본적인 구조적 개선이 필요하다. 향후 연구는 (a) 인컨텍스트 표현을 명시적으로 “외부화”하거나 “재활성화”하는 메커니즘, (b) 메타‑학습을 통한 표현‑활용 능력 강화, (c) 프롬프트 설계와 모델 아키텍처를 결합한 새로운 학습 패러다임을 탐색해야 할 것이다.