평생학습 라우터와 행동 통합: 차량 라우팅을 위한 새로운 지속가능 솔버

초록

본 논문은 차량 라우팅 문제(VRP) 해결을 위한 신경망 기반 솔버가 연속적으로 등장하는 다양한 작업(분포·규모)에서 학습하면서도 이전 작업 성능을 유지하도록 설계된 평생학습 프레임워크 LLR‑BC를 제안한다. 핵심은 경험 버퍼에 저장된 과거 행동을 ‘신뢰도‑가중 경험 가중(CaEW)’과 ‘결정‑지향 행동 통합(DsBC)’으로 재활용해 catastrophic forgetting을 방지하고, 새로운 작업에 대한 적응력(플라스티시티)과 제로샷 일반화 능력을 동시에 향상시키는 것이다. CVRP와 TSP에 대한 광범위한 실험에서 기존 방법들을 크게 앞선 성능을 보이며, 메모리 효율성과 모델‑아키텍처 독립성을 입증한다.

상세 분석

LLR‑BC는 기존 신경 VRP 솔버가 ‘한 번 학습 → 고정’ 패러다임에 머무는 한계를 극복하고, 작업이 순차적으로 추가되는 현실적인 상황을 목표로 한다. 이를 위해 두 가지 핵심 메커니즘을 도입한다. 첫째, **Confidence‑aware Experience Weighting (CaEW)**는 버퍼에서 샘플링된 경험에 대해 행동 확률 분포의 분산(또는 엔트로피) 기반 가중치를 부여한다. 낮은 신뢰도(높은 불확실성)를 가진 결정은 모델 업데이트 시 큰 변동을 일으킬 가능성이 크므로, 이러한 경험에 높은 가중치를 부여해 ‘중요도’를 강조한다. 이는 강화학습에서 불확실한 상태‑행동 쌍을 우선 학습하는 전략과 일맥상통하지만, VRP와 같이 순차적 선택이 누적 효과를 갖는 문제에 특화된 설계라 할 수 있다.

둘째, **Decision‑seeking Behavior Consolidation (DsBC)**는 현재 모델과 버퍼에 저장된 과거 행동 사이의 역 KL‑다이버전스를 최소화한다. 여기서 ‘역’ KL은 현재 정책이 과거 정책을 모방하도록 강제함으로써, 특히 과거에 낮은 확률로 선택됐던 행동을 재현하도록 유도한다. 기존의 파라미터 기반 정규화(예: EWC)와 달리 행동 수준에서 직접적인 정합성을 확보하므로, 파라미터 변화가 큰 경우에도 행동 변형을 억제한다. 또한, 행동을 확률 분포 전체로 저장해 단일 선택이 아닌 전체 정책 정보를 활용함으로써, 미세한 확률 차이가 라우팅 품질에 미치는 영향을 정밀하게 보존한다.

경험 버퍼는 reservoir sampling을 이용해 무작위 교체 확률을 유지함으로써, 시간에 따라 수집된 모든 경험이 균등하게 저장될 확률을 보장한다. 이는 메모리 용량이 제한된 상황에서도 오래된 작업의 대표성을 유지하도록 설계된 점이 주목할 만하다. 또한, 경험을 ‘상태‑행동 확률’ 쌍으로 정의함으로써, 기존 연구가 문제 인스턴스 전체를 하나의 경험으로 다루던 방식보다 훨씬 더 세밀한 재현이 가능해진다.

실험 설계는 두 가지 주요 도메인, **Capacitated Vehicle Routing Problem (CVRP)**와 **Traveling Salesman Problem (TSP)**에 대해 다양한 규모(100, 200, 500 노드)와 분포(균등, 클러스터형, 실시간 주문 패턴)를 포함한다. 각 작업은 고정된 학습 예산을 부여받으며, 새로운 작업이 도입될 때마다 LLR‑BC는 현재 작업 데이터와 버퍼 샘플을 동시에 사용해 학습한다. 평가 지표는 (1) 각 시점에서 모든 이전 작업에 대한 평균 최적도(gap), (2) 제로샷 일반화 성능, (3) 메모리·시간 효율성이다. 결과는 LLR‑BC가 기존 fine‑tuning 기반 방법이나 단순 경험 재현 방식에 비해 catastrophic forgetting을 거의 완전히 억제하고, 플라스티시티는 유지하면서도 새로운 작업에 대한 적응 속도가 빠름을 보여준다. 특히, CaEW가 적용되지 않은 버전과 비교했을 때, 낮은 신뢰도 결정에 대한 가중치 부여가 전체 성능 향상에 크게 기여함을 실증한다.

이 프레임워크의 장점은 모델·알고리즘 독립성이다. 논문에서는 POMO와 INVIT 두 가지 최신 신경 VRP 솔버에 적용했으며, 둘 모두에서 동일한 LLR‑BC 구조가 유의미한 성능 향상을 제공한다. 따라서 향후 다른 구축형 혹은 개선형 VRP 솔버에도 손쉽게 통합 가능하다. 다만, 버퍼 크기와 CaEW 가중치 함수의 하이퍼파라미터 선택이 작업 특성에 따라 민감하게 작용할 수 있다는 점은 추가 연구가 필요하다.

요약하면, LLR‑BC는 행동 수준에서의 지속적인 지식 통합과 불확실성 기반 경험 가중이라는 두 축을 통해, 평생학습 환경에서 신경 VRP 솔버가 **안정성(기존 작업 유지)**과 **플라스티시티(새 작업 학습)**를 동시에 만족하도록 설계된 혁신적인 접근법이라 할 수 있다.