인컨텍스트 학습을 이끄는 카운팅 가설

초록

본 논문은 대형 언어 모델이 프롬프트에 포함된 예시들을 “카운팅” 방식으로 처리한다는 가설을 제시한다. 저자는 트랜스포머의 FFN이 가능한 답안을 메모리처럼 저장하고, 잔차 연결을 통해 여러 답안이 동시에 경쟁한다는 세 가지 전제를 바탕으로, 예시 순서가 결과에 미치는 영향이 적고 예시 수가 많을수록 정확도가 향상되는 현상을 설명한다. 사전 훈련된 6개 모델에 대해 사전학습된 잔차 스트림을 사전학습된 사전(dictionary learning)과 ICA로 분석해, 답변 토큰과 구분자 토큰이 공유하는 공통 성분을 발견함으로써 가설을 실증한다.

상세 분석

이 논문은 인컨텍스트 학습(ICL)의 메커니즘을 이해하기 위해 “카운팅 가설”이라는 새로운 프레임워크를 제안한다. 핵심 아이디어는 트랜스포머 모델의 피드포워드 네트워크(FFN)가 연관 기억(associative memory) 역할을 하여 가능한 답안을 키‑값 쌍 형태로 저장하고, 잔차 연결(residual connection)을 통해 여러 레이어에 걸쳐 이 답안들이 중첩(superposition)된 상태로 전파된다는 점이다. 저자는 세 가지 가정을 설정한다. 첫째, FFN 출력은 입력에 대한 가능한 답안들의 선형 결합으로 분해될 수 있다; 둘째, ICL 프롬프트에 포함된 모든 예시는 동일한 중요도를 가지므로 어텐션 점수가 상수화될 수 있다; 셋째, 서로 다른 컨텍스트는 모델 차원 d의 부분공간(subspace)에 매핑되어 독립적인 답안을 인코딩한다.

이러한 가정 하에, 저자는 두 가지 관찰을 이론적으로 설명한다. (1) 예시 순서가 결과에 미치는 영향이 거의 없다는 현상은 어텐션 점수가 토큰 종류별 상수(질문, 구분자, 답변)로 근사될 수 있기 때문이다. (2) 예시 수가 늘어날수록 정확도가 향상되는 현상은 모든 토큰이 공유하는 공통 성분(˜An)이 누적되어 최종 어텐션 출력에 더 큰 비중을 차지하기 때문이다. 즉, 모델은 동일한 컨텍스트에 속하는 여러 예시를 “카운트”하여 해당 컨텍스트에 맞는 서브스페이스를 강화하고, 그 서브스페이스에 매핑된 답안을 선택한다.

가설을 검증하기 위해 저자는 6개의 공개된 대형 언어 모델(GPT‑j‑6B, LLaMA‑3.1‑8B, OLMo‑2‑0325‑32B, Phythia‑12B/6.9B, GPT‑NEOX‑20B)을 대상으로 200개의 ICL 프롬프트를 생성하고, 각 레이어의 잔차 스트림을 추출했다. 이후 사전학습(dictionary learning)과 독립 성분 분석(ICA)을 적용해 토큰별 성분을 분해하였다. 분석 결과, 구분자 토큰과 답변 토큰이 동일하거나 매우 유사한 원자(atom)와 독립 성분을 공유함을 확인했다. 이는 두 연속 토큰이 동일한 컨텍스트 서브스페이스에 매핑된다는 가설을 실증적으로 뒷받침한다. 또한, 어텐션 점수가 토큰 종류별 상수에 가깝게 분포함을 보여, 가정 2가 현실에서도 어느 정도 타당함을 제시한다.

하지만 논문은 몇 가지 한계도 명시한다. 첫째, 어텐션 점수가 완전히 상수화되지 않을 경우 카운팅 정확도가 감소할 수 있다(가정 2의 위배). 둘째, 현재 분석은 잔차 스트림의 선형 결합에 초점을 맞추었으며, 비선형 활성화 함수나 토큰 간 복합 상호작용을 완전히 설명하지 못한다. 셋째, 실험에 사용된 모델들은 모두 사전 훈련된 상태이며, 파인튜닝이나 구조적 변형이 가설에 미치는 영향을 탐색하지 않았다.

전체적으로 이 논문은 트랜스포머 내부의 연산이 어떻게 “잠재적인 답안들을 동시에 카운트”하고, 잔차 연결을 통해 경쟁시키는지를 정량적으로 설명하려는 시도이며, 사전학습된 모델이 별도 파라미터 업데이트 없이도 복잡한 작업을 수행할 수 있는 메커니즘을 이해하는 데 중요한 통찰을 제공한다.