빅데이터 오프로드를 위한 딥 강화학습 기반 차량 네트워크 전략

초록

본 논문은 차량 클러스터 내에서 리더 차량을 선정하고, 팔로워 차량들의 대용량 데이터를 청크 단위로 전송·중복제거(deduplication)한 뒤 베이스스테이션에 업로드하는 방식을 제안한다. 시간과 에너지 최소화를 목표로 두 가지 최적화 문제를 수립하고, 동적인 차량 환경에 대응하기 위해 중앙집중형·분산형 딥 강화학습(DRL) 알고리즘을 적용한다. 시뮬레이션 결과, DRL 기반 오프로드와 중복제거가 기존 방식에 비해 전송 시간과 에너지 소비를 크게 감소시킴을 확인하였다.

상세 분석

이 연구는 V2V와 V2I 양방향 통신을 동시에 활용하는 하이브리드 오프로드 모델을 제시한다. 핵심 아이디어는 클러스터 내 차량들을 ‘리더’와 ‘팔로워’로 구분하고, 팔로워가 보유한 대용량 데이터를 청크(chunk) 단위로 분할한다는 점이다. 청크는 시간 슬롯당 하나씩 전송되며, 각 청크는 데이터 페이로드와 메타데이터 오버헤드로 구성된다. 리더 차량은 팔로워로부터 청크를 수신한 뒤, 동일한 콘텐츠가 중복되는 경우 이를 제거(deduplication)하고, 중복이 제거된 고유 데이터만을 베이스스테이션에 업로드한다. 이 과정에서 두 가지 주요 비용—전송 지연과 에너지 소비—을 최소화하는 것이 목표이다.

수학적 모델링 단계에서 저자들은 전송 파워(p_v2v, p_v2i), 채널 이득(h_ij, g_i), 전송률(R_v2v, R_v2i) 등을 변수로 두고, 청크별 오프로드 비율(δ_i,t)과 전송 파워 할당을 최적화 변수로 설정하였다. 제약조건으로는 각 차량의 전력 한계(p_max), 지연 제한, 그리고 청크 전체 전송 보장(∑δ_i,t = 1) 등을 포함한다. 두 개의 최적화 문제는 (i) 전체 전송 시간 최소화, (ii) 전체 에너지 소비 최소화로 구분되며, 각각은 비선형 혼합 정수 프로그램 형태를 띤다.

동적인 차량 환경—특히 차량 위치와 채널 상태가 시간에 따라 변하는 상황—을 고려하기 위해 전통적인 최적화 기법보다는 딥 강화학습(DRL)을 채택하였다. 저자들은 중앙집중형(centralized)와 분산형(decentralized) 두 가지 DRL 프레임워크를 설계했으며, 각각 Deep Q-Network(DQN), Double DQN, 그리고 Proximal Policy Optimization(PPO) 같은 최신 알고리즘을 구현하였다. 상태(state)에는 현재 차량 위치, 채널 상태, 남은 데이터 양, 배터리 잔량 등이 포함되고, 행동(action)에는 청크 오프로드 경로 선택(직접 V2I vs. V2V→리더)과 전송 파워 할당이 포함된다. 보상(reward)은 목표 함수(시간 혹은 에너지)와 직접 연결되어, 에너지 절감 혹은 지연 감소에 비례하도록 설계되었다.

시뮬레이션에서는 차량 수(N(t)), 청크 수(K_i), 중복 비율(β_i,t) 등 다양한 파라미터를 변화시켜 성능을 평가하였다. 결과는 DRL 기반 정책이 정적 최적화 해법이나 단순 라우팅(예: 모두 직접 V2I 전송)보다 평균 전송 시간 30% 이상, 에너지 소비 25% 이상 절감함을 보여준다. 특히 중복 비율이 높을수록(β≈0.60.8) deduplication 효과가 극대화되어 DRL 정책의 이점이 더욱 두드러졌다. 또한, 분산형 DRL이 통신 오버헤드와 계산 복잡도 측면에서 중앙집중형에 비해 약간의 성능 저하(57%)를 보였지만, 실시간 적용 가능성에서는 유리한 것으로 판단된다.

이 논문의 주요 기여는 (1) 청크 기반 데이터 분할과 중복제거를 결합한 새로운 오프로드 프레임워크, (2) 시간·에너지 최소화를 위한 두 개의 수학적 최적화 모델, (3) 동적 vehicular 환경에 적합한 DRL 알고리즘 설계 및 비교, (4) 실험을 통한 DRL과 deduplication이 실제 네트워크 효율성을 크게 향상시킴을 입증한 점이다. 향후 연구에서는 다중 리더 선정, 엣지 서버와의 협업, 그리고 보안·프라이버시 보호 메커니즘을 추가하여 시스템을 확장할 여지가 있다.