자동 변동 감지와 적응을 위한 메타 강화학습 기반 동적 최적화 프레임워크

초록

본 논문은 동적 최적화 문제(DOP)에서 환경 변화를 인간이 설계한 탐지기 없이 자동으로 인식하고, 강화학습 기반 메타 정책이 PSO의 핵심 파라미터를 실시간으로 조정하도록 설계한 메타‑DO 프레임워크를 제안한다. 32개의 합성 벤치마크와 실제 USV 내비게이션 과제에서 기존 최첨단 방법들을 능가하는 성능을 입증한다.

상세 분석

본 연구는 동적 최적화 문제(DOP)의 핵심 난제인 ‘변화 감지‑대응’ 파이프라인을 전통적인 수작업 설계에서 완전 자동화된 강화학습(MDP) 기반 구조로 전환한다. 메타‑DO는 두 단계의 바이레벨 구조를 갖는다. 하위 레벨은 NBNC‑PSO라는 니치 기반 입자군집 최적화 알고리즘으로, 최근접‑우수 이웃(NBNC) 클러스터링을 통해 다중 니치를 유지하고, 과거 5세대의 최적 해를 저장하는 엘리트 아카이브를 통해 환경 변동을 간접적으로 감지한다. 상위 레벨은 딥 Q‑네트워크(DQN)로 구현된 메타 에이전트이며, 현재 스텝의 전체 인구 상태를 10차원 피처(환경 변동 인식, 전역·국부 적합도 정규화, 탐색·정체 지표, 공간 토폴로지, 방향 상관)로 인코딩한다. 이 피처는 개별 입자마다 계산되어 집합적으로 상태 S를 구성한다. 행동 A는 연속 공간에서 관성 가중치 w, 인지 계수 c1, 사회 계수 c2를 동시에 출력함으로써 파라미터를 미세 조정한다. 보상 R은 로그 스케일링된 성능 향상(현재 FE 대비 오프라인 오류 감소)으로 정의되며, 환경 스케일 비율을 정규화 기준으로 활용해 다양한 변동 강도에 대해 안정적인 학습을 가능하게 한다. 학습 목표는 기대 누적 보상을 최대화하는 정책 πθ를 찾는 것이며, 이를 위해 표준 DQN 업데이트와 경험 재플레이 버퍼를 사용한다. 실험에서는 32개의 난이도와 변동 패턴이 다양한 합성 DOP(선형 노이즈, 이동 피크, 혼합 변동 등)와 실제 무인수상체(USV) 내비게이션 시나리오에 대해 메타‑DO를 사전 학습시킨 뒤, 보지 않은 문제에 대해 제로샷 적용한다. 결과는 기존의 재평가 기반 탐지기, 적합도 모니터링 기반 방법, 그리고 최신 메타‑BBO(RL, SL, NE) 대비 평균 오프라인 오류가 15~30% 개선됨을 보여준다. 특히 급격한 변동(높은 이동 속도, 큰 스케일 변화) 상황에서 메타‑DO는 빠른 재활성화와 니치 재구성을 수행해 성능 저하를 최소화한다. 이와 같이 메타‑DO는 (1) 수작업 탐지‑대응 로직을 제거하고, (2) 환경 인식 피처와 연속 행동을 통해 파라미터를 미세 조정하며, (3) 다양한 DOP에 대한 일반화 능력을 확보한다는 세 가지 핵심 기여를 제공한다.