LLM을 고차원 비선형 자기회귀 모델로 바라보기: 수식·정렬·추론 통합 해석

초록

본 리뷰는 트랜스포머 기반 대형 언어 모델(LLM)을 차원 d·맥시멈 컨텍스트 Δ를 갖는 고차원 비선형 자기회귀(AR) 모델로 수식화한다. 사전학습, 인간 피드백 기반 정렬(RLHF·DPO·RSFT·RLVR) 및 토큰 생성 과정을 명시적 방정식으로 정리하고, 셀프‑어텐션을 “이중선형‑소프트맥스‑선형” 연산의 반복으로 해석한다. 이를 통해 정렬에 따른 시코팬시, 추론 시 환각·인‑컨텍스트 학습·체인‑오브‑쓰루·RAG 등 현상을 이론적으로 설명하고, 지속학습·위험 완화 전략까지 포괄한다.

상세 분석

이 논문은 LLM을 “Δ‑order 고차원 비선형 AR 모델”이라는 수학적 프레임워크에 매핑함으로써 기존의 설계‑중심 설명을 탈피한다. 핵심은 토큰 시퀀스 ({x_t}{t=1}^T)에 대해, 각 시점 (t)의 은닉 상태 (h{L,t}=f_{\theta,t}(x_{t-\Delta+1:t})\in\mathbb{R}^d)가 다층 트랜스포머의 비선형 맵 (F_\theta)에 의해 정의된다는 점이다. 여기서 어텐션 레이어는
\