수중 다중목표 추적을 위한 고차원 특성 인식형 EI 기반 DRL 프레임워크

초록

본 논문은 수중 환경의 고차원 관측 데이터를 효율적으로 처리하고, 다양한 움직임 단계에 적응하는 다중 전문가 협업 결정을 구현한 새로운 DRL 알고리즘 DHEA‑MECD를 제안한다. 이 알고리즘은 이중 헤드 인코더‑어텐션 구조로 이질적인 센서 정보를 의미론적으로 분해·통합하고, Top‑k 전문가 선택 메커니즘을 통해 단계별 최적 정책을 동적으로 전환한다. 계층형 구현 지능(EI) 아키텍처와 결합된 DHEA‑MECD 기반 다중목표 추적 시스템은 기존 DRL 기반 방법에 비해 추적 성공률, 수렴 속도, 궤적 최적성에서 현저히 우수함을 실험적으로 입증한다.

상세 분석

본 연구는 수중 무인잠수정(AUV)에게 요구되는 ‘고차원·고이질성’ 센서 입력을 기존의 평탄 벡터 처리 방식에서 탈피시켜, 두 개의 독립적인 인코더 헤드를 통해 공간‑기하학적 특징과 동역학‑환경 변수(예: 해류, 소음)를 각각 전용 변환기로 전처리한다. 이후 멀티‑헤드 셀프‑어텐션 레이어가 각 서브스페이스 간의 상관관계를 명시적으로 학습함으로써, “인식 파편화” 문제를 근본적으로 완화한다. 이러한 구조적 inductive bias는 DRL 정책 네트워크가 고차원 관측을 보다 압축된 의미 표현으로 변환하도록 유도한다는 점에서 기존의 단일‑CNN/MLP 기반 접근법보다 확연히 진보하였다.

다음으로 제안된 ‘모션‑스테이지 인식형 다중‑전문가 협업 결정’ 메커니즘은, 추적 과정이 급속 추격, 정밀 정지, 회피 등 서로 다른 동작 단계로 전이될 때 각각에 특화된 전문가 네트워크(전문가)를 사전 학습한다. Top‑k 선택 전략은 현재 상태와 단계 정보를 기반으로 가장 적합한 k개의 전문가를 실시간으로 샘플링하고, 가중 평균을 통해 최종 행동을 산출한다. 이 설계는 단일 정책이 모든 상황을 포괄하려다 발생하는 ‘과적합·과소적합’ 딜레마를 회피하고, 하이브리드(이산+연속) 액션 스페이스를 자연스럽게 다룰 수 있게 한다. 또한 전문가 수와 k값을 조절함으로써 연산 복잡도와 성능 사이의 트레이드오프를 유연하게 관리한다는 실용적 장점이 있다.

논문은 또한 수중 환경 모델링을 정교하게 다룬다. 해류는 가우시안 RBF 기반 선형 파라미터화로 표현되어 시간‑변화 가중치 θ(t)와 결합되며, 이는 상대속도 v_r(t)와 동역학 방정식에 직접 삽입된다. 소음 모델은 차량‑유발, 생물학적, 지질학적, 난류‑유발 소음으로 구분하고, 각각을 가우시안, α‑stable, 컬러 가우시안, AR(1) 형태로 수학화한다. 이러한 물리‑통계적 모델은 시뮬레이션 환경의 현실성을 크게 높이며, DRL 에이전트가 실제 해양 임무에 적용될 때 마주치는 비정상적 교란에 대한 내성을 검증할 수 있게 한다.

실험에서는 DHEA‑MECD를 기존 SAC, DDPG, PPO 등 대표적인 DRL 기반 추적 알고리즘과 비교한다. 평가 지표는 추적 성공률, 평균 수렴 에피소드, 궤적 최적성(경로 길이·에너지 소모) 등이다. 결과는 복잡한 해류와 고강도 소음이 존재하는 시나리오에서 DHEA‑MECD가 12~18% 높은 성공률과 30% 가량 빠른 수렴을 보이며, 에너지 효율성에서도 유의미한 개선을 이루었다. 또한 Top‑k=3, 전문가 수=5 설정이 가장 좋은 성능‑복잡도 균형을 제공한다는 실험적 근거를 제시한다.

비판적 관점에서 보면, 몇 가지 한계점이 존재한다. 첫째, 전문가 네트워크의 사전 학습 과정이 별도 데이터셋(시뮬레이션 기반)에서 수행되는데, 실제 해양 데이터에 대한 전이 학습 성능이 충분히 검증되지 않았다. 둘째, 이중 헤드 인코더와 멀티‑헤드 어텐션이 계산량을 증가시키지만, 논문에서는 실시간 실행을 위한 하드웨어 사양이나 최적화 전략을 상세히 제시하지 않아 실제 AUV에 탑재 가능성을 판단하기 어렵다. 셋째, Top‑k 선택 기준이 단순히 Q‑값 기반 가중치에 의존하는데, 상황‑의존적 불확실성(예: 센서 결함)에는 취약할 수 있다. 마지막으로, 실험 재현성을 위해 사용된 시뮬레이터 설정, 파라미터 초기값, 랜덤 시드 등이 논문 본문에 충분히 공개되지 않아, 외부 연구자가 동일 조건을 재현하기 어려울 가능성이 있다.

전반적으로, 고차원 수중 센서 데이터를 구조화된 어텐션 기반 표현으로 변환하고, 단계별 전문가 협업을 통해 정책 적응성을 확보한 점은 매우 혁신적이며, 향후 실제 해양 탐사 로봇에 적용될 때 중요한 설계 원칙이 될 수 있다. 향후 연구에서는 실제 해양 현장에서의 현장 시험, 경량화 모델 설계, 그리고 불확실성 정량화를 위한 베이지안 전문가 선택 기법 등을 도입함으로써 실용성을 한층 강화할 수 있을 것이다.