Transformer 기반 양자 피드백 제어

초록

본 논문은 트랜스포머와 어텐션 메커니즘을 활용해 연속 측정되는 양자 시스템의 피드백 제어를 구현한다. 감독학습과 강화학습 두 방식을 모두 적용해 두 수준 시스템의 상태 안정화, 비마코프적 환경 제어, 그리고 다체 시스템의 에너지 최소화를 실험적으로 입증한다. 기존 RNN 기반 방법보다 긴 시계열 의존성을 효율적으로 학습하고, 측정 효율이 낮거나 해밀토니안 교란이 존재해도 높은 충실도를 유지한다.

상세 분석

이 연구는 양자 피드백 제어에 트랜스포머 아키텍처를 도입함으로써, 기존 순환 신경망(RNN)이나 LSTM이 갖는 장기 의존성 학습의 한계를 극복한다는 점에서 혁신적이다. 트랜스포머는 자기‑어텐션(self‑attention)과 다중 헤드 어텐션(multi‑head attention)을 통해 전체 측정 기록을 동시에 고려할 수 있어, 비마코프적(open quantum) 시스템이나 측정 기록이 길어질수록 성능이 향상된다. 논문에서는 두 단계의 맞춤형 모듈, QuantumEncoder와 QuantumDecoder를 설계하였다. Encoder는 초기 양자 상태와 측정 레코드를 고차원 임베딩으로 변환하고, Decoder는 인코더의 컨텍스트와 현재까지의 측정값을 입력으로 받아 다음 시간 단계의 최적 제어 파라미터 λₜ를 자동 회귀 방식으로 예측한다. 학습 손실은 목표 상태와 실제 조건부 상태 사이의 불충실도(1‑fidelity)이며, 이는 직접적인 물리적 목표와 일치한다.

감독학습에서는 PaQS(Quantum State‑Based) 알고리즘으로부터 얻은 로컬 최적 제어 시퀀스를 레이블로 사용해 트랜스포머를 사전 학습한다. 이 과정에서 ε=0인 경우만을 훈련에 포함했음에도 불구하고, 추론 단계에서 ε=0.5와 같은 편향이 추가된 상황에서도 높은 충실도를 유지한다는 점은 모델이 물리적 변동성을 일반화할 수 있음을 보여준다. 또한 측정 효율 η=0.7이라는 비이상적인 조건에서도 목표 상태에 거의 단위에 가까운 충실도를 달성한다.

강화학습에서는 정책 함수 π_θ(λₜ₊₁|rₜ) 를 트랜스포머가 직접 학습하도록 설계했으며, 보상은 최종 상태의 에너지 또는 목표 상태와의 겹침을 기반으로 정의한다. 특히 비통합 가능한 다체 이징 체인(N‑qubit mixed‑field Ising chain)에서 에너지 최소화를 목표로 할 때, 기존 정책 경사법보다 빠른 수렴과 더 낮은 최종 에너지를 기록한다.

비마코프적 환경 제어 실험에서는 TLS를 고조파 진동자와 결합시켜 반마코프적 반응 좌표(reaction coordinate) 모델을 만든다. 트랜스포머는 전이 학습(transfer learning)으로 작은 데이터셋에 미세 조정된 뒤, 2000개의 측정 샘플을 입력받아 λₜ를 예측한다. 이때 RNN과 GRU‑RNN은 짧은 컨텍스트(≤60 타임스텝)에서는 약간 우수하지만, 긴 시계열(2000 타임스텝)에서는 트랜스포머가 명확히 앞선다. 이는 트랜스포머가 순차적 처리의 제약 없이 전체 기록에 어텐션을 적용할 수 있기 때문이다.

연산 효율성 측면에서도 트랜스포머는 실시간 제어에 유리하다. 논문에서는 100 타임스텝 시뮬레이션을 수행할 때, PaQS 기반 최적화는 약 19초가 소요되는 반면, 트랜스포머는 0.23초로 두 자릿수의 속도 향상을 보였다. 다만 메모리 사용량이 크게 증가하는 점은 GPU/FPGA 구현 시 고려해야 할 과제로 남는다.

전체적으로 이 논문은 양자 피드백 제어에 트랜스포머를 적용함으로써, (1) 긴 시계열 의존성 처리, (2) 비마코프적 및 잡음이 큰 환경에 대한 강인성, (3) 감독학습과 강화학습을 모두 포괄하는 통합 프레임워크, (4) 실시간 제어에 필요한 추론 속도 향상이라는 네 가지 핵심 장점을 입증한다. 이러한 결과는 양자 오류 정정, 빠른 양자 상태 준비, 그리고 실험 장비의 자동 튜닝 등에 직접적인 응용 가능성을 제시한다.