양자 강화학습과 트랜스포머를 활용한 용량제한 차량경로문제 해결

초록

본 논문은 용량제한 차량경로문제(CVRP)를 풀기 위해 고전 A2C와 양자·하이브리드 A2C 세 가지 변형을 제안한다. 각 모델에 트랜스포머 기반의 자기·교차‑어텐션을 도입해 차량·고객·창고 간 관계를 학습한다. 20명의 고객과 4대의 차량을 이용한 실험에서 양자‑강화학습 모델이 거리, 경로 압축도, 중복도 측면에서 고전 모델을 능가했으며, 특히 하이브리드 구조가 가장 우수한 성능을 보였다.

상세 분석

이 연구는 CVRP라는 전형적인 NP‑hard 문제에 대해 강화학습(RL)과 양자컴퓨팅을 결합한 새로운 접근법을 제시한다. 먼저, 기존의 A2C 구조에 트랜스포머의 멀티‑헤드 어텐션을 삽입함으로써 정적·동적 특징을 동시에 인코딩한다는 점이 주목할 만하다. 특히, 자기‑어텐션은 고객 간 거리와 수요 변화를, 교차‑어텐션은 차량‑고객 간 상호작용을 포착한다.

양자 변형은 세 단계로 나뉜다. (1) Classical Pointer Network (CPN)은 완전 고전 모델로, 기존 연구와 비교 가능한 베이스라인을 제공한다. (2) Hybrid Quantum Pointer (HQP)는 인코더‑디코더 사이에 변분 양자 회로(VQC)를 삽입해 양자 파라미터가 어텐션 가중치를 조정하도록 설계했으며, 입력 임베딩과 출력 후처리는 여전히 고전 방식이다. (3) Full Quantum Pointer (FQP)는 임베딩부터 어텐션, 정책·가치 함수까지 전 과정을 양자 회로로 구현한다. 이러한 단계적 설계는 양자 회로의 표현력과 하드웨어 제약을 동시에 고려한 실용적인 접근이라 할 수 있다.

보상 설계는 거리 패널티 외에 ‘오버랩 패널티’, ‘존 패널티’, ‘고객 서비스 보상’이라는 세 가지 추가 목표를 포함한다. 이는 단순 거리 최소화가 아닌, 차량 간 공간적 협조와 서비스 품질을 동시에 최적화하려는 의도이며, 강화학습 에이전트가 복합적인 목표를 학습하도록 유도한다.

실험은 10번의 독립 실행을 통해 평균 성능을 보고하며, 평가 지표는 총 이동 거리, 경로 압축도(클러스터링 기반), 경로 중복도(다중 차량 간 겹침)이다. 결과는 HQP가 가장 낮은 평균 거리와 높은 압축도·낮은 중복도를 기록, FQP는 하드웨어 노이즈와 파라미터 최적화 어려움으로 약간 뒤처졌다. 고전 CPN은 전반적으로 성능이 낮았지만, 학습 안정성은 가장 높았다. 시각화 결과에서도 양자 기반 모델이 보다 규칙적인 라우팅 패턴을 형성함을 확인할 수 있다.

한계점으로는(1) 실험 규모가 20고객·4차량에 국한돼 실제 물류 현장 규모와 차이가 있다. (2) 양자 회로 깊이가 얕아 양자 얽힘과 초월적 표현력을 충분히 활용하지 못했으며, 시뮬레이터 기반 실험이라 실제 NISQ 디바이스에서의 성능은 검증되지 않았다. (3) 하이퍼파라미터(λ, α, β 등)의 선택이 결과에 크게 영향을 미치지만, 자동 튜닝 방법이 제시되지 않았다. 그럼에도 불구하고, 트랜스포머와 양자 회로를 결합한 구조가 복합 목표를 가진 조합 최적화 문제에 유망함을 실증적으로 보여준다.