반확률적 투영법으로 양자 다체계의 정밀한 바닥상태 찾기

초록

매우 큰 행렬의 최대 고유값과 고유벡터 기댓값을 계산하는 새로운 ‘반확률적’ 거듭제곱법을 제안한다. 행렬 연산의 일부는 수치적으로 정확하게, 나머지는 확률적 기댓값으로 처리하는 하이브리드 방식으로, 완전 확률적 방법 대비 목표 정밀도 도달 시간을 획기적으로 단축한다. 부호 문제가 있는 페르미온 허바드 모델과 탄소 이합체에 적용해 그 효용성을 입증했다.

상세 분석

본 논문의 핵심 기술적 기여는 ‘결정론적 부분공간(D)‘과 ‘확률적 부분공간(S)‘을 분리하여 처리하는 하이브리드 거듭제곱법 알고리즘인 Semistochastic QMC(SQMC)의 제안에 있다. 기존 완전 확률적 방법(예: i-FCIQMC)이 전체 힐베르트 공간을 워커로 확률적으로 샘플링하며 내재적인 통계적 변동으로 인해 계산 효율이 제한되는 문제를 해결한다.

SQMC의 효과는 물리적 통찰을 알고리즘에 접목한 데서 비롯된다. 다체계 양자 문제에서 바닥상태 파동함수의 대부분의 가중치는 하트리-폭 기준 상태와 그로부터 유도된 낮은 에너지 여기 상태(예: 단일, 이중 여기) 등 상대적으로 소수의 기저 상태에 집중되어 있다는 점을 이용한다. 논문에서는 이 중요한 부분을 결정론적 부분공간 D로 설정하여, 해당 구역 내의 행렬 요소 P_D를 희소 행렬로 저장하고 벡터 업데이트를 수치적으로 정확하게 수행한다. 이를 통해 이 공간에서 발생하는 통계적 노이즈를 근본적으로 제거한다. 반면, 물리적 기여도가 상대적으로 작지만 그 수가 압도적으로 많은 나머지 기저 상태들로 구성된 공간 S에 대해서는 기존의 확률적 투영 몬테카를로 방식을 적용한다. 이때 ‘개시자(initiator)’ 조건을 적용하여 부호 문제를 제어한다.

이러한 접근법의 강력한 이점은 두 가지 측면에서 정량적으로 입증된다. 첫째는 효율성(목표 통계적 오차 도달 시간의 역수)의 비약적 향상이다. 그림 1의 허바드 모델 결과에서 보듯, 결정론적 공간의 크기(|D|)와 시험 파동함수의 질(|T|)을 증가시킬수록 효율성이 최대 900배까지 향상되었다. 이는 D 공간에서 정확한 연산이 확률적 플럭추에이션을 제거하고, 좋은 시험 함수가 혼합 추정량(E_mix)의 분산을 줄이기 때문이다. 특히 화학 시스템(탄소 이합체)에서는 정확한 바닥상태 기술에 중요한 사중 여기 상태를 D에 포함시켰을 때 효율성 향상이 1000배를 넘어섰다(그림 3). 이는 알고리즘 성능이 단순한 기저 상태 수가 아닌, 올바른 물리적 통찰에 기반한 공간 선택에 크게 의존함을 보여준다.

둘째는 체계적 오차(바이어스)의 완화 가능성이다. 확률적 방법의 ‘개시자’ 근사는 필연적으로 바이어스를 유발한다. SQMC는 그림 4와 같이 일부 경우(허바드 모델, U/t=1)에서 이 바이어스를 현저히 줄이거나 제거했다. 다른 경우(그림 5, U/t=4)에도 바이어스가 완전 확률적 방법보다 더 매끄럽게 변하여, 워커 수 외삽을 통한 오차 제거가 더 용이해진다. 이는 결정론적 공간이 중요한 양자 상관 효과를 정확히 포착함으로써 확률적 공간에서의 근사 의존도를 낮추기 때문으로 해석된다.

종합하면, SQMC는 대규모 양자 문제 해결을 위한 패러다임의 전환을 제시한다. 이 방법은 확률적 방법의 확장성과 결정론적 방법의 정확성/낮은 노이즈를 최적의 비율로 결합하여, 기존 방법이 감당하기 어려웠던 초대규모 힐베르트 공간(최대 ~10^35) 내에서 정밀한 바닥상태 계산을 가능하게 하는 강력한 프레임워크이다.