양자 하드웨어에서 유닛리 쿠플드 클러스터 파동함수 최적화: 오류 한계와 효율적 옵티마이저

초록

본 논문은 프로젝트 양자 고유값 탐색기(PQE) 알고리즘을 수학적으로 정밀 분석하고, 잔류(Residue) 크기와 에너지 오차 사이의 새로운 오류 한계를 제시한다. 또한, 기존 PQE와 VQE의 BFGS 최적화에 비해 수렴 속도와 측정 비용이 크게 개선된 잔류 기반 하이브리드 옵티마이저를 설계·검증한다.

상세 분석

이 연구는 양자 화학에서 널리 사용되는 유닛리 쿠플드 클러스터(UCC) 파동함수를 하드웨어 친화적으로 최적화하기 위한 프로젝트 양자 고유값 탐색기(PQE)의 이론적 기반을 강화한다. 기존 PQE는 슈뢰딩거 방정식의 투사 형태인 잔류 rₙ(t)=⟨Φₙ|U†(t)HU(t)|Φ₀⟩를 0으로 만드는 비선형 방정식 시스템을 풀어 근사 고유상태에 접근한다. 논문은 먼저 Kato의 부등식을 이용해 잔류의 ℓ₂ 노름 ‖r(t)‖와 실제 에너지 오차 ΔE=|E(t)−E₀| 사이에

ΔE ≤ C·‖r(t)‖² / (1−‖r(t)‖)

와 같은 형태의 경계식을 도출한다. 여기서 상수 C는 해밀토니안의 비대각 원소와 최소 에너지 차이(스펙트럼 갭)에 의해 결정된다. 이 경계는 기존 Gershgorin 기반 한계보다 훨씬 타이트하며, 특히 강한 상관성을 가진 시스템에서도 작은 잔류가 곧 작은 에너지 오차를 보장한다는 점에서 VQE의 그라디언트 기반 수렴 판단과 차별화된다.

다음으로 저자는 PQE 최적화 과정에서 사용되는 근사 뉴턴-라프슨 업데이트와 단순 그라디언트 하강을 동적으로 전환하는 새로운 옵티마이저를 제안한다. 핵심 아이디어는 잔류 크기가 큰 초기 단계에서는 스텝 크기 ηₙ을 1/Δₙ(모렐-플레셀 분모)로 제한한 그라디언트 유사 업데이트를 적용하고, 잔류가 충분히 작아지면 고정된 야코비안 J⁻¹(0)를 이용한 뉴턴 스텝으로 전환한다. 이 전환 기준은 이론적으로 도출된 ηₙ·‖rₙ‖ ≤ τ(τ≈0.1) 조건으로 정의되며, 수치 실험에서 수렴 속도와 측정 횟수 모두 크게 개선됨을 확인한다.

실험에서는 H₄, H₆, BeH₂, LiH 분자의 결합 거리 전 범위에 대해 UCCSD(T)·Q ansatz를 사용하였다. 제안된 옵티마이저는 기존 PQE(단일 Δₙ 업데이트)와 VQE‑BFGS에 비해 평균 2~3배 적은 측정 횟수로 10⁻⁶ Hartree 이하의 정확도를 달성했으며, 특히 긴 결합 거리에서 나타나는 정적 상관성 문제에서도 안정적인 수렴을 보였다. 또한, 오류 한계식을 이용한 자동 중단 기준을 적용함으로써 불필요한 반복을 최소화하고 전체 실행 시간을 30 % 이상 단축하였다.

이러한 결과는 PQE가 단순히 VQE의 변형이 아니라, 잔류 기반 수렴 판단과 효율적인 뉴턴‑그라디언트 혼합 전략을 통해 양자 하드웨어 제한 하에서도 실용적인 화학 계산을 수행할 수 있음을 시사한다. 특히, 오류 한계가 명시적이고 측정 비용이 제한적인 NISQ 장치에서 최적화 루프를 설계하는 데 중요한 가이드라인을 제공한다.