동적 포트폴리오 최적화를 위한 변분 양자 회로 기반 강화학습

초록

본 논문은 변분 양자 회로(VQC)를 활용한 강화학습 에이전트를 설계해, 동적 포트폴리오 최적화 문제에 적용한다. 양자 버전의 DDPG와 DQN을 구현하고 실제 금융 시계열 데이터로 실험한 결과, 파라미터 수는 수십 배 적음에도 불구하고 위험조정 성과가 기존 딥 RL과 동등하거나 우수함을 보였다. 다만 현재 클라우드 양자 컴퓨팅 환경의 통신·스케줄링 지연이 전체 실행 시간을 지배해 실용적 적용에 제약이 있다.

상세 분석

이 연구는 세 가지 핵심 기술적 기여를 제시한다. 첫째, 연속 행동 공간을 다루는 Deep Deterministic Policy Gradient(DDPG)와 이산 행동 공간을 다루는 Deep Q‑Network(DQN)를 양자 회로 형태로 변환하였다. 구체적으로, 정책 네트워크와 가치 네트워크를 각각 파라미터화된 양자 회로(Parameterized Quantum Circuit, PQC)로 구현하고, 회로 파라미터는 클래식 옵티마이저(Adam, SPSA 등)와 하이브리드 루프를 통해 업데이트한다. 회로 설계는 입력 상태(가격, 기술 지표, 포트폴리오 비중 등)를 회전 각도로 인코딩하고, 다중 엔탱글먼트 레이어(CNOT, CZ)를 통해 비선형 표현력을 확보한다.

둘째, 실험 설계는 2020‑2024년 사이의 주요 주식·ETF 데이터를 30일, 60일, 90일 재조정 주기로 나누어 시뮬레이션하였다. 보상 함수는 샤프 비율을 기반으로 한 위험조정 수익률이며, 거래 비용과 슬리피지를 모델에 포함시켜 현실성을 높였다. 양자 에이전트는 4‑8개의 양자 비트와 2‑4개의 레이어 깊이로 구성된 VQC를 사용했으며, 동일한 학습 데이터에 대해 클래식 DDPG/DQN은 수백만 개의 파라미터를 가진 다층 신경망을 사용했다.

셋째, 결과 분석에서는 (1) 평균 연간화 수익률, (2) 샤프 비율, (3) 최대 낙폭(Drawdown) 세 지표를 제시한다. 양자 DDPG는 평균 샤프 비율 1.42(클래식 DDPG 1.38)와 최대 낙폭 12.3%를 기록했으며, 양자 DQN은 1.35(클래식 DQN 1.31)와 13.1%를 보였다. 특히 파라미터 효율성 측면에서, 양자 모델은 약 0.02 M 파라미터에 비해 클래식 모델은 2‑5 M 파라미터를 필요로 함에도 불구하고 비슷한 혹은 약간 우수한 성능을 달성했다.

하지만 논문은 양자 회로 실행 자체는 마이크로초 수준으로 빠르지만, 클라우드 기반 QPU 접근 시 큐 대기, 인증, 데이터 전송 등에 평균 150‑300 ms의 레이턴시가 발생한다는 점을 강조한다. 전체 학습 파이프라인에서 이 오버헤드가 90% 이상을 차지해, 현재는 실시간 트레이딩에 적용하기 어려운 수준이다. 또한, 양자 회로 깊이가 6‑8 레이어를 초과하면 현재 하드웨어의 디코히런스와 게이트 오류가 급격히 성능을 저하시킨다.

연구의 한계로는 (1) 실험이 제한된 자산군(주식·ETF)과 비교적 짧은 기간에 국한됨, (2) 시뮬레이터 기반 사전 학습 후 QPU에 파인튜닝하는 하이브리드 전략이 실제 시장 변동성에 대한 일반화 능력을 충분히 검증하지 못함, (3) 양자 회로 설계가 경험적 탐색에 의존해 최적 구조가 아직 미확정이라는 점을 들 수 있다. 향후 연구에서는 (a) 더 많은 양자 비트를 활용한 깊은 회로 설계와 오류 보정 기법 적용, (b) 멀티‑에이전트 협업 프레임워크와 포트폴리오 제약(섹터, ESG, 유동성) 통합, (c) 온프레미스 양자 컴퓨팅 클러스터와의 연계로 레이턴시 최소화 등을 제안한다.

전반적으로 이 논문은 변분 양자 회로를 강화학습에 적용한 최초의 대규모 금융 실험 중 하나이며, 파라미터 효율성 및 표현력 측면에서 양자 모델의 잠재력을 입증했다. 다만 현재 인프라적 제약이 실용화를 가로막고 있기에, 양자 하드웨어와 클라우드 서비스가 성숙함에 따라 실시간 포트폴리오 관리에 적용될 가능성이 높다.