변환기의 양자 렌즈: 트랜스포머 해석을 위한 새로운 물리적 시각

초록

본 논문은 트랜스포머 모델의 층별 변화를 양자역학의 수학적 틀로 재구성한다. 출력 토큰 확률을 힐베르트 공간의 상태벡터로 변환하고, 각 층을 유니터리 연산자와 해밀토니안으로 모델링한다. 최종 확률은 보른 규칙을 통해 얻으며, 이를 토대로 간단한 토이 모델에 적용해 층의 기여를 정량적으로 분석한다.

상세 분석

QLENS는 트랜스포머의 잔차 흐름(residual stream)을 복소 힐베르트 공간 H = ℂⁿ에 매핑함으로써, 각 출력 토큰을 정규 직교 기저 |i⟩와 일대일 대응시킨다. 모델 내부의 은닉 표현 hₗ은 정규화된 상태벡터 |Ψₗ⟩ = Σ_i ψ_i^{(l)}|i⟩ 로 표현되며, ψ_i^{(l)}는 Tuned Lens를 통해 얻은 로짓을 소프트맥스로 정규화한 확률 진폭이다. 층 ℓ의 변환은 선형 연산 U_ℓ (유니터리)와 비선형 잔차 F_ℓ을 결합한 형태로 정의되며, U_ℓ은 시간발전 연산자 exp(-iH_ℓΔt)와 동등하게 해석된다. 여기서 H_ℓ은 각 층에 대응하는 해밀토니안으로, 잔차 업데이트의 에너지 스케일을 나타낸다. 논문은 이론적으로 U_ℓ†U_ℓ=I 를 만족하도록 파라미터를 정규화하고, 실제 트랜스포머 가중치를 근사적으로 유니터리화하는 방법을 제시한다.

보른 규칙 P(i|ℓ)=|⟨i|Ψ_ℓ⟩|² 를 적용해 각 층이 출력 확률에 미치는 영향을 정량화한다. 이를 통해 층별 “양자 흐름”을 시각화하고, 특정 토큰이 최종 예측에 도달하기까지의 확률 진폭 변화를 추적한다. 실험에서는 1‑layer GPT‑2‑style 모델 3종을 대상으로, 각 층의 유니터리 연산이 토큰 선택에 미치는 기여도를 분석했다. 결과는 전통적인 Logit Lens가 제공하는 로그 확률과 달리, 진폭의 위상 정보까지 고려한 양자적 해석이 층 간 상호작용을 더 명확히 드러냄을 보여준다.

한계점으로는 현재 유니터리 근사 과정이 가중치 재구성을 필요로 하며, 대규모 모델에 적용할 경우 계산 비용이 급증한다는 점이다. 또한, 양자역학의 물리적 의미(예: 관측, 얽힘)와 모델 내부 메커니즘 사이의 직접적인 대응 관계는 아직 탐색 단계에 머물러 있다. 향후 연구에서는 해밀토니안 학습, 양자 얽힘 메트릭을 통한 층 간 의존성 분석, 그리고 실제 양자 하드웨어와의 연계 가능성을 모색할 필요가 있다.