양자 잡음과 연산 능력 하에서 근사 최적화 성능 비교

초록

본 논문은 QAOA와 그 변형 네 종류를 밀도 행렬 시뮬레이션으로 평가하여, 이상적인 상황과 다양한 잡음 수준에서 Max‑Cut, Partition, Vertex‑Cover 문제의 근사 품질과 실행 시간을 비교한다. 실험 결과는 변형별로 잡음에 대한 민감도가 크게 다르며, 레이어 수와 잡음 강도가 비선형적으로 성능에 영향을 미친다는 것을 보여준다. 또한, 비기능 요구사항(품질, 시간, 잡음 저항성)을 고려한 자동화된 선택 메커니즘 설계에 필요한 핵심 변수들을 도출한다.

상세 분석

이 연구는 QAOA(Quantum Approximate Optimisation Algorithm)의 네 가지 변형—표준 QAOA, Warm‑Start Init‑QAOA, Warm‑Start QAOA, Recursive QAOA(RQAOA)—을 동일한 실험 프레임워크에서 비교함으로써, 현재 NISQ(Noisy Intermediate‑Scale Quantum) 환경에서 실용적인 활용 가능성을 정량적으로 평가한다. 먼저, 세 가지 대표적인 NP‑complete 문제(Max‑Cut, Partition, Vertex‑Cover)를 선택하고, 각 문제에 대해 510개의 변수(노드) 규모의 무작위 인스턴스를 600개(각 문제) 생성하였다. 이는 양자 회로당 14 레이어(p)까지 확장 가능하도록 설계되었으며, 각 레이어는 문제 해밀토니안(H_C)과 믹서 해밀토니안(H_M) 사이에 교대로 적용되는 베타와 감마 파라미터 쌍을 포함한다.

시뮬레이션 엔진은 Eviden Qaptiva 800 기반의 QLM 라이브러리를 활용한 밀도 행렬 시뮬레이터이며, 이는 노이즈가 포함된 양자 채널을 정확히 모델링한다. 노이즈 모델은 IBM Q 백엔드에서 추출한 평균 T1/T2 시간, 게이트 오류율, 게이트 지속시간 등을 기반으로 한 depolarising 채널과 thermal relaxation 채널을 결합한다. 두 개의 스케일링 파라미터 d_D(디폴라리제이션 강도)와 d_TR(열 이완 강도)를 도입해, 0(노이즈 없음)부터 1(현실적인 베이스라인)까지 연속적인 잡음 수준을 탐색하였다.

실험 결과는 다음과 같은 핵심 인사이트를 제공한다. 첫째, 레이어 수가 증가할수록 이상적인 경우 근사 품질이 향상되지만, 동일한 레이어 증가가 노이즈가 존재할 때는 품질 저하를 가속화한다. 특히, 표준 QAOA는 레이어 3 이상에서 잡음에 매우 민감해져, d_D·d_TR이 0.5 수준일 때도 품질이 0.7 이하로 급락한다. 반면, Warm‑Start 변형은 초기 상태를 문제의 근사 해로 설정함으로써, 낮은 레이어(1~2)에서도 0.85 이상의 품질을 유지한다. 이는 초기 상태가 양자 회로가 탐색해야 할 해 공간을 크게 축소시키는 효과를 보여준다.

둘째, Recursive QAOA(RQAOA)는 전통적인 변형과 달리 매 반복마다 가장 확신이 높은 제약을 추출해 문제 차원을 감소시키는 절차를 포함한다. 실험에서는 샘플 크기 10을 고정했음에도 불구하고, 중간 규모(노드 8~10) 문제에서 평균 품질이 0.78에 달했으며, 특히 잡음이 강할수록 (d_D·d_TR > 0.7) 레이어 수에 대한 의존도가 감소한다는 특성을 보였다. 이는 RQAOA가 “클래식” 단계에서 잡음 영향을 부분적으로 흡수한다는 점을 시사한다.

셋째, 실행 시간 분석에서는 두 가지 주요 요인이 부각된다. (1) 양자 회로 평가 횟수(1000회/iteration)와 측정 시간(4.09 µs)으로 인한 고정 오버헤드, (2) 레이어당 게이트 수와 그에 따른 열 이완·디폴라리제이션 누적 시간이 비선형적으로 증가한다는 점이다. 특히, 2‑qubit C‑X 게이트가 전체 실행 시간의 60% 이상을 차지했으며, 이는 현재 트랜스몬 기반 하드웨어에서 가장 큰 병목임을 확인했다.

마지막으로, 비기능 요구사항을 만족시키기 위한 자동화 전략을 제안한다. 논문은 “품질‑시간‑잡음 저항성” 삼각형 모델을 도입해, 사용자가 우선순위를 지정하면 사전 학습된 회귀 모델(레イヤ 수, d_D, d_TR, 문제 크기)을 통해 최적 변형과 파라미터 조합을 실시간으로 추천한다. 이는 향후 컴파일러·런타임 레이어에서 QAOA 파이프라인을 자동 튜닝하는 기반이 될 수 있다.

요약하면, 이 연구는 QAOA 변형별 잡음 민감도와 레이어 깊이의 트레이드오프를 정량화하고, 고성능 컴퓨팅(HPC) 환경에서 양자·클래식 하이브리드 워크플로우를 설계할 때 고려해야 할 핵심 변수들을 체계적으로 제시한다.