AUV 경로 학습을 통한 수중 음향 에너지 전송 및 정보 신선도 최적화

초록

본 논문은 자율 수중 차량(AUV)이 음향 에너지 전송(AET)과 정보 업링크를 동시에 수행하도록 경로를 최적화하는 두 가지 딥 강화학습(DRL) 알고리즘을 제안한다. 고성능 주파수 분할 듀플렉스(FDD)와 저복잡도 시분할 듀플렉스(TDD) 방식을 각각 설계하여 평균 정보 신선도(AoI)를 최소화하고, 수집된 에너지와 데이터 공정성을 크게 향상시킨다. 실험 결과, 제안된 방법이 무작위 보행, 라운드 로빈, 탐욕 알고리즘 등 기존 베이스라인 대비 우수함을 입증한다.

상세 분석

이 연구는 수중 사물인터넷(IoUT) 환경에서 배터리 교체가 어려운 점을 극복하고, 환경 오염을 최소화하기 위해 에너지와 정보를 동시에 제공하는 지속 가능한 프레임워크를 제시한다. 핵심은 AUV의 3차원 이동 경로와 각 IoUT 노드의 스케줄링을 공동 최적화함으로써 평균 가중 AoI를 최소화하고, 동시에 수집된 음향 에너지를 최대화하는 것이다. 이를 위해 저자들은 두 가지 듀플렉싱 방식을 도입한다. FDD는 별도의 주파수 대역을 사용해 AET와 데이터 전송을 동시에 수행하므로 높은 스루풋과 낮은 지연을 제공하지만, 다중 안테나와 듀플렉서가 필요해 하드웨어 복잡도가 상승한다. 반면 TDD는 동일 주파수를 시간 슬롯으로 나누어 사용해 하드웨어 요구사항을 크게 낮추고, 동적 시간 할당을 통해 에너지와 데이터 전송 간의 트레이드오프를 유연하게 조절한다. 두 방식 모두 딥 강화학습, 특히 Proximal Policy Optimization(PPO) 기반의 정책 네트워크를 활용해 고차원 상태·행동 공간을 효율적으로 탐색한다. 상태는 AUV 위치, 각 노드의 현재 AoI, 남은 배터리량, 채널 손실 등을 포함하고, 행동은 이동 방향 및 듀플렉싱 파라미터(예: TDD의 β) 선택이다. 보상 함수는 평균 AoI 감소, 수확 에너지 증가, 그리고 Jain 공정성 지수를 동시에 고려하도록 설계돼, 단일 목표 최적화가 아닌 다목적 최적화를 가능하게 한다. 실험에서는 K개의 무작위 배치된 노드와 3D 그리드 월드를 가정하고, 수중 음향 채널 모델(Thorp 흡수식, 구형·원통형 전파 손실)과 전력 변환 효율(η=0.2~0.7)을 적용했다. 결과는 FDD‑PPO가 가장 높은 AoI 감소와 에너지 수확 효율을 보였으며, TDD‑PPO는 약간 낮은 성능이지만 구현 비용과 복잡도가 크게 감소한다는 장점을 확인했다. 또한 두 알고리즘 모두 라운드 로빈이나 탐욕 기반 스케줄링에 비해 Jain 지수가 현저히 높아, 데이터 수집의 공정성이 크게 개선됨을 보여준다. 이와 같이 본 논문은 수중 환경 특유의 높은 감쇠와 다중 경로 효과를 고려한 현실적인 시스템 모델링과, DRL을 통한 실시간 경로·스케줄링 최적화를 결합함으로써, 배터리 의존 IoUT 디바이스의 수명 연장과 환경 보호라는 두 마리 토끼를 잡았다.