트랜스포머는 컨텍스트 안에서 가변 차수 마코프 체인을 학습한다

초록

본 논문은 트랜스포머 모델이 인‑컨텍스트 학습을 통해 가변 길이 마코프 체인(VOMC)을 얼마나 정확히 추정할 수 있는지를 조사한다. 고정 차수 마코프 체인(FOMC) 대비 구조적 학습이 추가로 필요함을 강조하고, 정보 이론에서 유래한 컨텍스트‑트리 가중치(CTW) 알고리즘을 베이지안 최적 해로 제시한다. 실험 결과, 단일 레이어 트랜스포머는 VOMC를 학습하지 못하지만 두 레이어 이상이면 CTW에 근접한 성능을 보이며, 레이어가 늘어날수록 미세하게 개선된다. 또한 어텐션‑전용 네트워크는 충분히 못한다는 점을 확인한다. 이를 설명하기 위해 최대 차수 D에 대해 D+2 레이어 구조가 CTW를 정확히 구현할 수 있음을 증명하고, 두 레이어 구조가 부분적인 통계 정보를 이용해 근사적으로 블렌딩하는 메커니즘을 제시한다.

상세 분석

이 연구는 트랜스포머의 인‑컨텍스트 학습(ICL) 능력을 가장 단순하면서도 이론적으로 완전한 모델인 가변 차수 마코프 체인(VOMC)에 적용함으로써, 기존 FOMC 기반 연구와는 근본적인 차이를 만든다. VOMC는 각 심볼이 이전 심볼들의 가변 길이 접미사에 의존하는 구조를 가지며, 이는 학습 과정에서 트리 형태의 구조적 추정과 확률 분포 추정 두 가지 과제가 동시에 발생한다는 점에서 기존 고정 차수 모델보다 훨씬 복잡하다. 논문은 이러한 복합 문제를 베이지안 관점에서 접근해, 정보 이론에서 보편 압축을 위한 최적 알고리즘으로 알려진 컨텍스트‑트리 가중치(CTW) 알고리즘이 ICL‑VOMC에 대한 베이지안 최적 해임을 증명한다. CTW는 각 접미사(노드)의 카운트를 유지하고, 재귀적으로 블렌딩 가중치를 계산해 최적의 다음 토큰 확률을 제공한다.

실험에서는 트랜스포머를 다양한 레이어 수(1~4)와 어텐션‑전용 구조로 학습시켜, 동일한 컨텍스트 윈도우(N=1536)와 최대 차수(D=5) 조건에서 CTW와 Kneser‑Ney(KN) 스무딩을 비교하였다. 결과는 단일 레이어 트랜스포머가 거의 유니그램 수준의 성능에 머무는 반면, 두 레이어 이상은 CTW와 거의 일치하는 압축률(교차 엔트로피 손실)을 달성함을 보여준다. 레이어 수가 증가할수록 성능 향상이 미미하게 나타났으며, 네 레이어에서 포화 현상이 관찰된다. 어텐션‑전용 네트워크는 전반적으로 CTW와 큰 격차를 보였으며, 이는 어텐션만으로는 필요한 카운트 집계와 블렌딩 연산을 충분히 수행하지 못한다는 결론을 뒷받침한다.

이론적 기여는 두 가지 구체적인 트랜스포머 설계에 있다. 첫 번째는 최대 차수 D에 대해 D+2 레이어 구조를 제시하여, 각 레이어가 트리의 깊이와 카운트 집계를 담당하도록 함으로써 CTW의 재귀적 블렌딩을 정확히 구현한다. 여기서 피드‑포워드(FF) 레이어가 핵심 역할을 하며, 어텐션 레이어는 토큰 간 관계를 추출하고, 상위 레이어는 하위 레이어에서 전달된 카운트 정보를 집계한다. 두 번째는 두 레이어 구조로, 하위 레이어가 원시 카운트(또는 부분 집계)를 제공하고, 상위 레이어의 FF 네트워크가 이를 학습된 가중치로 블렌딩해 CTW에 근접한 예측을 수행한다. 실험적으로 이 두 레이어 모델은 CTW와 거의 동일한 성능을 보였으며, 이는 완전한 D+2 구조가 없어도 충분히 근사 가능한 메커니즘이 존재함을 시사한다.

또한 논문은 기존 FOMC에 대한 ICL 연구와 대비해, VOMC가 제공하는 “구조 학습”이라는 새로운 차원을 강조한다. VOMC는 실제 자연어와 같은 복합 메모리 구조를 더 잘 모델링할 수 있기 때문에, 이 연구는 트랜스포머가 단순히 확률 분포를 학습하는 것이 아니라, 데이터의 내재된 트리 구조까지 추론할 수 있음을 보여준다. 마지막으로, CTW와 같은 최적 압축 알고리즘과 트랜스포머의 ICL 성능을 직접 비교함으로써, 대규모 사전학습 없이도 특정 통계적 과업에 대해 이론적 최적점에 근접할 수 있음을 입증한다.