딥 강화학습으로 거의 결정적인 큐빅·쿼터틱 위상 게이트 구현

초록

본 논문은 딥 강화학습(DRL)을 이용해 광학 회로를 제어함으로써, 광자수분해 검출만을 비가우시안 자원으로 사용해 큐빅‑위상 상태를 평균 96 % 성공률로 생성하고, 동일한 회로와 자원을 활용해 쿼터틱‑위상 게이트를 직접 구현하는 방법을 제시한다.

상세 분석

이 연구는 연속 변수 양자 컴퓨팅(CV‑QC)에서 필수적인 비가우시안 자원인 큐빅‑위상 게이트를, 전통적인 비선형 광학 매질이나 복잡한 포스트셀렉션 없이도 실현할 수 있음을 보여준다. 핵심 아이디어는 변동 가능한 빔스플리터 전송율 τ_j, 입력 스퀴징 파라미터 r_j, 그리고 변위 α_j를 매 타임스텝마다 강화학습 에이전트가 선택하도록 설계한 회로이다. 회로는 초기 10 dB 스퀴즈드 진공 상태를 시작으로, 반복적인 루프 구조와 PNR(Photon‑Number‑Resolving) 검출을 통해 상태를 점진적으로 목표 큐빅‑위상 상태 |γ,r,α⟩에 근접시킨다.

MDP(Markov Decision Process) 모델링에서 상태 s_j는 현재 밀도 행렬 ρ_j의 실·허수 성분과 대각 원소를 평탄화한 벡터로 정의되며, 행동 a_j는 위 세 파라미터를 포함한다. 전이 확률 T(s_{j+1}|s_j,a_j)는 PNR 검출 결과에 따라 결정되는 감소된 밀도 행렬의 대각 원소로 구현된다. 보상 함수는 R(s_j)=Tr λ (ρ_j) F_λ(ρ_j,ρ_γ) 형태이며, 여기서 F는 순수 상태 피델리티, λ=55는 피델리티가 1 미만인 경우에 큰 페널티를 부여한다. 이는 학습 과정에서 물리적으로 비현실적인 트렁케이션 오류를 억제한다.

학습 알고리즘으로는 PPO(Proximal Policy Optimization)를 선택했으며, 이는 온‑폴리시 특성으로 인해 오프‑폴리시와 부트스트래핑이 결합된 ‘데들리 트라이앵글’ 문제를 회피한다. 에이전트는 3개의 은닉층(256‑128‑64)과 tanh 활성화를 갖는 두 개의 신경망(액터·크리틱)으로 구성된다. 하이퍼파라미터(γ, 배치 크기, 학습률 등)는 그리드 서치를 통해 최적화되었으며, 40개의 병렬 환경을 이용해 5.7 백만 타임스텝(에피소드당 50 스텝) 동안 학습하였다.

학습 결과는 흥미로운 행동 양상을 보여준다. ① 피델리티가 일정 수준에 도달하면 τ_j를 0으로 고정해 루프를 종료하고, 이후 몇 단계 동안 α_j를 조정해 최종 보정 변위를 수행한다. ② 필요 시 τ_j를 1로 설정해 초기 스퀴즈드 상태로 리셋함으로써, 변환이 어려운 상태를 조기에 포기하고 재시도한다. ③ 대부분의 성공 에피소드에서는 10 스텝 이하로 목표 상태에 도달한다. ④ 약 5 % 정도의 에피소드는 최대 스텝(50)까지 진행되지만 여전히 높은 피델리티를 유지한다. 이러한 행동은 에이전트가 환경의 확률적 특성을 내재화하고, 최적 정책을 스스로 발견했음을 의미한다.

성공률 96 %는 기존 포스트셀렉션 기반 방법(성공률 수% 수준)과 비교해 획기적인 향상을 나타낸다. 또한, 동일 회로와 PNR 검출만으로 쿼터틱‑위상 게이트(exp(iδQ⁴))를 직접 생성할 수 있음을 제시함으로써, 기존에 29개의 큐빅‑게이트가 필요하던 복잡한 디컴포지션을 대폭 단순화한다. 다만 현재 실험적 검증은 없으며, 시뮬레이션은 31 포톤까지의 Hilbert‑space 트렁케이션과 무손실 모델을 전제로 한다. 실제 구현 시에는 고효율 PNR 검출기(>95 % 효율)와 안정적인 루프 위상 고정이 필수적이며, 손실 및 비정상적인 검출 오류가 성능에 미치는 영향을 추가 연구해야 한다.

이 논문은 딥 강화학습이 양자 광학 회로의 비가우시안 상태 준비에 있어 “자동 설계” 역할을 할 수 있음을 실증적으로 보여준다. 향후 연구에서는 (1) 실험적 구현을 통한 검증, (2) 더 높은 차수(예: 5차, 6차) 위상 게이트에 대한 확장, (3) 다중모드 및 하이브리드 GKP‑코드와의 연계, (4) 손실 및 디코히런스 모델을 포함한 견고한 정책 학습 등을 통해 CV‑QC의 실용화를 가속화할 수 있을 것으로 기대된다.