층 선택 전이 학습을 통한 QAOA 파라미터 최적화 전략

초록

본 논문은 Max‑Cut 문제에 QAOA를 적용할 때, 기존에 다른 그래프에서 얻은 최적 파라미터를 전이한 뒤 전체 레이어가 아닌 일부 레이어만 재최적화하는 “층 선택 전이 학습” 방식을 제안한다. 5‑layer QAOA 회로를 기준으로 전이 후 1~2개의 레이어만 미세조정했을 때, 전체 레이어를 새로 최적화하는 경우에 비해 근사 비율은 약간 낮지만 최적화 시간은 크게 단축됨을 실험적으로 확인하였다. 또한 레이어별 중요도에 계층적 차이가 존재함을 보여준다.

상세 분석

이 연구는 QAOA 파라미터 전이 가능성을 기존 ‘웜 스타트’ 개념에서 한 단계 확장한다. 전이된 파라미터를 그대로 사용하면 로스 랜드스케이프가 이미 좋은 지역에 위치하게 되지만, 그래프 규모나 토폴로지가 크게 달라질 경우 최적값에서 멀어질 위험이 있다. 저자들은 이러한 위험을 최소화하기 위해 전체 2p개의 파라미터 중 일부 레이어만을 자유롭게 업데이트하는 전략을 고안하였다. 핵심 아이디어는 QAOA 회로의 각 레이어가 서로 다른 역할을 수행한다는 가정이다. 초기 레이어는 전역적인 위상 정보를 부여하고, 중간 레이어는 위상 간섭을 강화하며, 최종 레이어는 해의 샘플링 확률을 최적화한다. 따라서 특정 레이어만 재조정해도 전체 회로의 성능을 크게 회복시킬 수 있다.

실험에서는 5‑layer QAOA를 기준으로, 8‑node 에르되시‑레니 그래프(도너)에서 최적화된 파라미터를 12‑node, 14‑node 등 다양한 크기의 수용 그래프에 전이하였다. 전이 후 전체 레이어를 다시 최적화하는 ‘Full Optim.’와 비교해, 2번째 레이어만 재학습한 경우 평균 근사 비율이 약 0.92 수준으로 ‘Full Transfer’(≈0.90)보다 높으며, ‘Full Optim.’(≈0.95)와는 차이가 있지만 최적화 반복 횟수가 30 % 이하로 감소한다. 또한 레이어별 최적화 효과를 시각화한 Fig. 2, Fig. 3에서 중간 레이어(특히 2~4번째 레이어)가 가장 큰 성능 향상을 제공함을 확인한다.

알고리즘 1은 일반화된 n‑layer 선택 최적화 절차를 제시한다. 여기서는 고정된 학습률과 조기 종료 기준(tol = 10⁻⁴, s = 3)을 사용해 그래디언트 기반 업데이트를 수행한다. 실험 결과는 파라미터 전이 후 손실 곡선이 빠르게 수렴하고, 특히 ‘Warm Start’와 ‘2nd‑Layer Optim.’의 수렴 속도가 거의 동일함을 보여준다(Fig. 4). 이는 전이된 파라미터가 이미 좋은 초기값을 제공함을 의미한다.

이 논문의 주요 기여는 (1) 레이어 선택 전이 학습이라는 새로운 파라미터 재조정 프레임워크를 제시, (2) 레이어별 중요도와 계층적 역할을 실험적으로 입증, (3) 최적화 시간과 근사 비율 사이의 트레이드오프를 정량화함으로써 실용적인 NISQ 환경에서 QAOA 적용 가능성을 확대했다는 점이다. 다만, 실험이 주로 무가중치 3‑regular 및 에르되시‑레니 그래프에 국한되어 있어, 가중치가 큰 실제 문제나 비정규 그래프에 대한 일반화 가능성은 추가 연구가 필요하다. 또한 레이어 선택 기준을 자동화하는 메타러닝 기법이나, 다른 믹서 해밀토니안을 적용했을 때의 효과도 탐색할 여지가 있다.