혼합 정밀도 신경 양자 상태: 효율적인 VMC 구현

초록

본 논문은 변분 몬테카를로(VMC)에서 메트로폴리스-헤이스팅스(MH) 샘플링을 절반 정밀도(half‑precision)로 수행해도 정확도가 유지된다는 이론적·실험적 근거를 제시한다. 로그 확률에 대한 가우시안 오차 모델링과 TV 거리 기반 편향 한계를 도출하고, Doeblin 마이너라이제이션을 이용해 마르코프 체인의 수렴 특성을 정량화한다. 실험에서는 다양한 신경망 아키텍처(NN, CNN, RNN)와 1/2 정밀도 구현을 결합해 3.5배 가속화와 에너지 추정 오차 미감소를 확인한다.

상세 분석

이 연구는 두 가지 핵심 질문에 답한다. 첫째, 제한된 부동소수점 정밀도가 MH 알고리즘의 수용 확률에 미치는 영향을 어떻게 정량화할 수 있는가? 저자는 로그 확률에 대한 절대 오차 δ(x)를 가우시안(μ,σ²)로 가정하고, KL 발산이 σ²/2임을 이용해 Pinsker 부등식으로 TV 거리 ≤σ/2라는 보수적 상한을 얻는다. 이는 정밀도 손실이 전체 분포에 미치는 최악의 편향을 제시한다. 둘째, 실제 마르코프 체인의 혼합 속도가 빠를 경우 이 편향이 더욱 작아질 수 있음을 보인다. Doeblin 마이너라이제이션 조건(P(x,·)≥ξν(·))을 가정하면 전이 커널이 TV 거리에서 수축률 r=1−ξ를 갖고, 정규화된 편향 ∥π−π˜∥ₜᵥ ≤∥π˜(P˜−P)∥ₜᵥ/(1−r) 로 제한된다. 즉, 체인이 빠르게 수렴할수록 작은 전이 커널 변동(δ에 의해 유도된 Δα)만으로도 전체 분포 편향이 억제된다.

논문은 이론적 결과를 두 단계로 검증한다. (1) 간단한 이산 토이 모델에서 δ를 직접 주입해 TV 거리와 에너지 편향을 측정하고, 제시된 상한과 실험값이 일치함을 확인한다. (2) 실제 NQS(VMC) 시뮬레이션에 적용한다. 여기서는 파라미터화된 양자 파동함수 ψθ(x)의 로그를 신경망이 직접 출력하고, 이를 절반 정밀도(f16)로 평가한다. 샘플링 단계만 저정밀도로 전환하고, 로그‑확률 계산, 수용 확률, 그리고 제안 분포는 모두 저정밀도 연산으로 수행한다. 그 외의 그래디언트 역전파와 파라미터 업데이트는 여전히 double precision을 유지한다.

실험 결과는 두드러진 실용적 통찰을 제공한다. 첫째, 대부분의 제안이 낮은 수용 확률 영역(s≈e^{−ε})에 위치하거나, 높은 확률 영역(s≈1)에서는 정밀도 차이가 무시될 수 있음을 보여준다. 둘째, 실제 양자 스핀 사슬(Heisenberg 모델)에서 64‑bit 대비 16‑bit 샘플링을 적용했을 때, 최종 에너지 추정값의 차이는 10^{−4} 이하로 미미했으며, 학습 곡선 역시 동일한 수렴 속도를 보였다. 셋째, 하드웨어 측면에서 GPU 메모리 사용량이 약 50% 감소하고, 연산량이 3.5배 가속되는 효과가 관찰되었다. 이는 메모리 대역폭이 제한적인 대규모 NQS 훈련에 특히 유리하다.

또한 논문은 혼합 정밀도 전략이 MCMC 기반 머신러닝 전반에 적용 가능함을 제시한다. 베이지안 학습, 에너지 기반 모델, 그리고 pseudo‑marginal MCMC와 같은 분야에서도 동일한 오류 전파 모델을 사용해 정밀도‑성능 트레이드오프를 설계할 수 있다. 다만, 체인이 매우 느리게 혼합하거나, 제안 분포가 목표 분포와 크게 겹치지 않을 경우(즉, s가 중간값 근처에 자주 존재) 정밀도 손실이 편향을 크게 만들 수 있기에, 이러한 경우에는 추가적인 보정(예: 로그‑확률 재스케일링)이나 전용 고정밀도 단계가 필요하다.

전반적으로 이 논문은 “정밀도 감소 → 편향 증가”라는 전통적 인식을 정량적 경계와 실험적 증거를 통해 부분적으로 무효화한다. 특히, VMC와 같은 고차원 양자 시스템 시뮬레이션에서 샘플링 비용이 병목인 상황에 혼합 정밀도는 비용‑정확도 균형을 크게 개선할 수 있음을 입증한다.