자기주의 모델의 주제 전이 역학: 인간 사고와의 차이점

초록

본 논문은 단일층 자기주의 모델을 이론적으로 분석하고, 토큰 우선순위 그래프(TPG)를 이용해 “주제”를 정의한다. 주요 결과는 (1) 모델이 입력 주제의 토큰 우선순위를 유지한다, (2) 낮은 우선순위 토큰이 높은 우선순위 토큰보다 많이 등장할 때만 자발적 주제 전이가 발생한다, (3) 입력 길이가 길거나 주제가 모호할수록 자발적 전이 확률이 감소한다는 점이다. 이러한 현상이 최신 대형 언어 모델에서도 실험적으로 재현되어, 인간의 자발적 사고와 AI의 토큰 기반 예측 사이에 근본적인 차이가 있음을 보여준다.

상세 분석

본 연구는 먼저 토큰 우선순위 그래프(TPG)를 기반으로 “주제”를 형식화한다. TPG는 각 토큰을 정점으로 하고, 마지막 토큰을 기준으로 입력 시퀀스에 등장한 토큰들에 향하는 방향성 간선을 부여한다. 강하게 연결된 컴포넌트(SCC)는 동일한 우선순위를 갖는 토큰 집합을 의미하며, 모델은 학습 과정에서 이러한 SCC 구조를 학습한다. 논문은 Li et al. (2025)의 단일층 자기주의 모델과 로그 손실 함수를 그대로 채택하고, 가정 1‑4(가중치 고정, 입력에 정답 토큰 포함, 확률 중복 방지, 데이터셋이 TPG를 정확히 재구성) 하에 수렴성을 보인다.

정리된 정리 2에서는 두 개의 주제 A와 B가 혼합된 데이터셋을 사용했을 때, 혼합 모델이 입력이 주제 A에 속하면 A의 토큰 우선순위를 그대로 유지함을 증명한다. 이는 소프트맥스 가중치 S(XW*x̄)의 순서가 원래 모델과 동일하게 보존된다는 의미이며, 따라서 혼합 모델이 주제 A의 SCC에 속한 토큰을 다음 토큰 후보로 제시한다.

정리 3은 주제 전이가 일어나는 조건을 제시한다. 토큰 우선순위가 낮은 토큰이 전체 시퀀스에서 높은 우선순위 토큰보다 더 많이 등장하면, 소프트맥스 가중치가 뒤바뀌어 낮은 우선순위 토큰이 최고 확률 SCC에 포함된다. 이때 모델은 주제 A 대신 B 혹은 새로운 토픽을 예측하게 된다.

정리 4는 입력 길이와 주제 모호성의 영향을 분석한다. 입력 시퀀스가 길어질수록 높은 우선순위 토큰의 상대 빈도가 증가하고, 소프트맥스 가중치가 더욱 명확히 구분되므로 전이 확률이 감소한다. 또한, 주제가 여러 SCC에 걸쳐 모호하게 정의될 경우, 각 SCC 내부의 토큰들이 서로 경쟁하지만 전체적으로는 높은 우선순위 토큰이 우세하게 남아 전이 가능성을 억제한다.

실험 부분에서는 GPT‑2, LLaMA‑2, GPT‑4 등 최신 대형 언어 모델에 동일한 혼합‑주제 설정을 적용하였다. 실험 결과는 이론적 예측과 일치했으며, 특히 입력 길이가 256 토큰을 초과하거나 주제가 다중 SCC로 구성될 때 전이율이 현저히 낮았다. 반면 인간 실험에서는 긴 대화나 모호한 주제 상황에서 오히려 자유연상적 전이가 증가하는 것이 관찰되었다. 이는 현재 자기주의 기반 LLM이 인간의 자발적 사고 메커니즘을 모방하지 못하고, 입력 통계에 과도하게 의존한다는 중요한 함의를 제공한다.

요약하면, 논문은 TPG 기반 주제 정의와 단일층 자기주의 모델의 수학적 분석을 통해 (1) 토큰 우선순위 보존, (2) 토큰 빈도에 의한 전이 조건, (3) 입력 길이·주제 모호성의 억제 효과라는 세 가지 핵심 원리를 도출하고, 이를 최신 LLM에 검증함으로써 인간 사고와 AI 예측 사이의 근본적 차이를 명확히 제시한다.