물리 영감을 받은 트랜스포머 양자 상태

초록

본 논문은 기존 트랜스포머 기반 신경양자상태(NQS)를 잠재적 허수시간 진화(LITE)라는 물리적 시각으로 재해석하고, 층 간 가중치를 공유하여 정적 유효 해밀토니안을 구현한 물리‑영감 트랜스포머 양자상태(PITQS)를 제안한다. Trotter‑Suzuki 고차 분해를 적용해 파라미터 수를 늘리지 않으면서도 정확도를 향상시켰으며, J1‑J2 프러스트레이션된 Heisenberg 모델에서 기존 최첨단 TQS와 동등하거나 더 나은 에너지 값을 적은 파라미터로 달성하였다.

상세 분석

이 연구는 신경양자상태(NQS)를 ‘잠재적 허수시간 진화(LITE)’라는 프레임워크에 매핑함으로써, 기존 트랜스포머 기반 NQS(TQS)가 실제 물리적 해밀토니안이 아닌, 층마다 변하는 가상의 해밀토니안을 학습한다는 근본적인 문제점을 지적한다. 저자들은 TQS의 멀티헤드 어텐션(MHA)과 피드포워드 네트워크(FFN) 각각을 비국소 연산 K와 국소 연산 V에 대응시키고, 이를 연속적인 허수시간 전파 e^{‑Δτ Ĥ}=e^{Δτ V}e^{Δτ K} 형태의 1차 Lie‑Trotter 분해로 해석한다. 이때 층마다 다른 파라미터를 사용하면 효과적인 해밀토니안이 시간에 따라 달라져 물리적으로 불필요한 과잉 파라미터가 발생한다는 점을 강조한다.

이를 해결하기 위해 PITQS는 모든 층에 동일한 가중치를 공유함으로써 단일 정적 유효 해밀토니안 Ĥθ=−(Vθ+Kθ)를 정의한다. 이렇게 하면 파라미터 수가 층 수 L에 비례하지 않고, 물리적으로 의미 있는 하나의 해밀토니안만을 학습하게 된다. 또한, 허수시간 전파를 단순 1차 Lie‑Trotter가 아니라 2차 Strang, 4차 Suzuki, Blanes‑Moan 등 고차 Trotter‑Suzuki 분해로 대체함으로써 전파 오차를 O(Δτ^{m+1}) 수준으로 감소시킨다. 중요한 점은 이러한 고차 분해가 추가 파라미터를 요구하지 않으며, 기존 TQS와 동일한 파라미터 예산 내에서 정확도를 크게 끌어올릴 수 있다는 것이다.

실험에서는 10×10 격자, J2/J1=0.5인 프러스트레이션된 Heisenberg 모델을 대상으로 β=2.0(총 허수시간)에서 다양한 PITQS 변형(Lie‑Trotter, Strang, Suzuki, Blanes‑Moan)과 기존 TQS(β=0.5, 2.0)를 비교하였다. 결과는 파라미터 수가 44,890개인 PITQS가 155,620개 파라미터를 사용하는 TQS와 거의 동등하거나 더 낮은 에너지(−0.49697 vs −0.49652)를 달성함을 보여준다. β를 증가시켜도 PITQS는 파라미터 수 증가 없이 정확도가 향상되는 반면, TQS는 파라미터 수가 늘어나도 체계적인 개선이 없었다. 이는 기존 TQS가 ‘시간 의존 해밀토니안’이라는 물리적 불필요성을 내포하고 있음을 실증한다.

또한, 논문은 LITE 프레임워크가 AF‑QMC와 달리 학습 가능한 잠재 변수(z)를 통해 부호 문제를 회피하면서도 물리적 직관을 제공한다는 점을 강조한다. 잠재 토큰을 도입해 비국소 상호작용을 효율적으로 표현하고, 이를 Transformer 구조에 매핑함으로써 복잡한 다체 상관을 압축된 형태로 캡처한다. 전체적으로 PITQS는 ‘블랙박스’ 신경망 설계에서 ‘물리적으로 투명한’ 설계로 전환하는 구체적 방법론을 제시하며, 파라미터 효율성, 정확도, 물리적 해석 가능성 측면에서 기존 최첨단 TQS를 능가한다는 강력한 증거를 제공한다.