양자 의사결정 트랜스포머 오프라인 강화학습을 위한 얽힘과 간섭의 시너지
읽는 시간: 2 분
...
📝 원문 정보
- Title: Quantum Decision Transformers (QDT): Synergistic Entanglement and Interference for Offline Reinforcement Learning
- ArXiv ID: 2512.14726
- 발행일: 2025-12-09
- 저자: Abraham Itzhak Weinberg
📝 초록 (Abstract)
오프라인 강화학습은 환경과의 직접적인 상호작용 없이 사전 수집된 데이터셋만으로 정책을 학습할 수 있게 해 주지만, 기존의 Decision Transformer(DT) 구조는 장기적인 크레딧 할당과 복잡한 상태‑행동 의존성을 처리하는 데 한계가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 양자 영감을 받은 두 가지 핵심 모듈을 결합한 Quantum Decision Transformer(QDT)를 제안한다. 첫 번째 모듈은 얽힘 연산을 포함한 양자‑영감 어텐션으로, 비국소적인 특징 상관관계를 포착한다. 두 번째 모듈은 다중 경로 처리를 수행하고 학습 가능한 간섭 메커니즘을 갖춘 양자 피드포워드 네트워크로, 적응형 계산 자원을 제공한다. 연속 제어 태스크에 대한 광범위한 실험 결과, QDT는 기존 DT 대비 2,000% 이상의 성능 향상을 달성했으며, 데이터 품질이 다양해도 뛰어난 일반화를 보였다. 소거 실험에서는 두 양자‑영감 구성 요소가 각각 단독으로는 경쟁력 있는 결과를 내지 못하지만, 결합될 때 개별 기여를 훨씬 초과하는 시너지 효과를 나타냄을 확인했다. 이러한 결과는 양자‑영감 아키텍처 설계가 독립적인 모듈의 단순 추가가 아니라, 상호 의존적인 메커니즘의 전체적인 공동 설계가 필요함을 시사한다. 논문은 세 가지 주요 계산적 장점을 제시한다: (1) 비국소 상관관계를 통한 향상된 크레딧 할당, (2) 병렬 처리에 기반한 암묵적 앙상블 효과, (3) 학습 가능한 간섭을 통한 적응형 자원 할당. 본 연구는 순차 의사결정 분야에서 트랜스포머 구조를 발전시키는 새로운 설계 원칙을 제시하며, 강화학습을 넘어 신경망 아키텍처 전반에 걸친 양자‑영감 설계의 가능성을 열어준다.💡 논문 핵심 해설 (Deep Analysis)
