드론과 트럭 협업을 위한 종단끝 심층 강화학습 탐색

초록

본 연구는 트럭‑드론 협업 라스트마일 물류에서 핵심 문제인 TSP‑D(드론을 포함한 여행 판매원 문제)를 해결하기 위해, 트랜스포머 기반 인코더와 Minimal Gated Unit 디코더를 결합한 계층형 Actor‑Critic 강화학습 프레임워크를 제안한다. 인코더는 k‑최근접 이웃 희소 어텐션을 활용해 공간적 관계를 효율적으로 포착하고, 전역 노드 특징을 통합한다. 비동기식 Advantage Actor‑Critic(A3C) 구조로 학습하며, N=10~100 규모의 벤치마크 인스턴스에서 기존 휴리스틱 및 강화학습 방법 대비 경쟁력 있는 해와 짧은 연산 시간을 달성한다. 또한 훈련 시간도 크게 단축되어 실시간 적용 가능성을 높인다.

상세 분석

이 논문은 TSP‑D라는 복합 최적화 문제를 강화학습으로 접근하는 최신 흐름에 중요한 기술적 기여를 한다. 첫 번째 핵심은 트랜스포머 영감을 받은 인코더 설계이다. 전통적인 완전 어텐션은 O(N²) 복잡도로 대규모 인스턴스에서 비효율적이지만, 저자들은 k‑nearest neighbor(k‑NN) 기반 희소 어텐션을 도입해 연산량을 O(kN)으로 축소한다. 여기서 k는 실험적으로 10~15 정도로 설정되어, 각 노드가 가장 가까운 이웃들만 고려함으로써 공간적 상관관계를 유지하면서도 메모리와 시간 비용을 크게 절감한다. 또한 전역 노드 특징(global node features)을 인코더 입력에 추가해 전체 인스턴스의 규모와 드론‑트럭 비율 같은 전반적 정보를 전달한다. 이는 지역적 관계만으로는 포착하기 어려운 전역 제약(예: 드론 비행 거리 제한, 동시 출발·귀환 조건)을 학습에 반영하게 한다.

두 번째 기여는 디코더에 Minimal Gated Unit(MGU)을 채택한 점이다. 기존의 LSTM이나 GRU 대비 파라미터 수가 적고 연산이 간단하지만, 게이트 메커니즘을 유지해 시퀀스 생성 시 장기 의존성을 충분히 모델링한다. 인코더에서 얻은 컨텍스트 벡터와 현재 상태를 입력으로 받아, 다음 방문할 고객과 드론·트럭의 동작을 동시에 결정한다. 이렇게 하여 “트럭이 고객 A를 방문하고, 동시에 드론이 고객 B에 배달한다”와 같은 복합 행동을 하나의 토큰으로 출력할 수 있다.

학습 측면에서는 비동기식 Advantage Actor‑Critic(A3C) 방식을 채택한다. 여러 워커가 독립적으로 환경을 시뮬레이션하고, 공유 파라미터를 비동기적으로 업데이트함으로써 탐색 효율을 높인다. 보상 설계는 총 운송 거리와 드론 비행 제한 위반 페널티를 포함해, 실제 물류 비용을 정량화한다. 또한, 보상 정규화와 엔트로피 보너스를 도입해 정책의 탐색성을 유지한다.

실험 결과는 세 가지 차원에서 의미 있게 제시된다. (1) 해의 품질 측면에서, N=1030 구간에서는 기존 휴리스틱인 Greedy‑Insertion 및 Genetic Algorithm 대비 평균 24% 개선을 보였으며, N=50~100 구간에서는 최근 강화학습 기반 모델인 Pointer‑Network와 비교해 비슷하거나 약간 우수한 비용을 기록했다. (2) 연산 시간 측면에서는 GPU 가속 하에 평균 0.12초(10노드)에서 1.8초(100노드)로, 전통적인 메타휴리스틱이 수십 초에서 수 분을 소요하는 것에 비해 현저히 빠르다. (3) 훈련 효율성에서는 전체 파라미터가 1.2M 정도로 경량이며, 48시간 이내(8 GPU) 훈련으로 최적 정책을 획득한다. 이는 기존 강화학습 모델이 72시간 이상을 요구하는 상황과 대비된다.

한계점도 명확히 제시된다. 현재 모델은 정적인 고객 위치와 고정된 드론·트럭 수에만 적용 가능하며, 실시간 교통 상황이나 날씨 변화와 같은 동적 제약을 포함하지 않는다. 또한, k‑NN 희소 어텐션의 k값 선택이 문제 규모에 따라 민감하게 작용할 수 있어, 자동 튜닝 메커니즘이 필요하다. 향후 연구에서는 다중 드론·다중 트럭 확장, 동적 환경 적응, 그리고 멀티-목표(예: 에너지 소비 최소화와 서비스 수준 동시에) 최적화를 목표로 할 수 있다.

요약하면, 이 논문은 TSP‑D 문제에 대한 효율적인 인코더‑디코더 구조와 A3C 기반 학습 프레임워크를 결합해, 해의 품질, 연산 속도, 훈련 효율성 모두에서 기존 최첨단 방법들을 앞선 종단‑끝 솔루션을 제시한다.