신뢰 기반 동적 가중치 할당을 통한 다중모달 UAV 빔 예측

초록

본 논문은 저고도 UAV 통신에서 빔 예측 정확도를 높이기 위해, 환경 시각, 비행 자세, 지리 정보 등 경량 센서 데이터를 활용해 각 모달리티의 신뢰도를 실시간으로 평가하고 동적으로 가중치를 조정하는 SaM²B 프레임워크를 제안한다. 또한 교차모달 대비 학습을 통해 다중소스 표현을 공유 의미 공간에 정렬시켜 잡음과 도메인 이동에 강인한 성능을 확보한다. 실제 저고도 데이터셋 실험에서 기존 고정 가중치 기반 방법들을 크게 능가한다.

상세 분석

SaM²B는 기존 다중모달 빔 예측 연구가 갖는 ‘고정 가중치’라는 근본적인 한계를 극복하기 위해 두 가지 핵심 메커니즘을 도입한다. 첫 번째는 신뢰도 인식 동적 가중치(RDW) 모듈이다. 이 모듈은 입력된 시각 이미지, UAV 자세(가속도·자이로·고도), 그리고 GPS·지도 기반 지리 정보라는 세 가지 경량 모달리티를 각각 별도의 경량 인코더에 통과시킨 뒤, 각 인코더 출력에 대한 신뢰도 스코어를 추정한다. 신뢰도 스코어는 (1) 모달리티별 재구성 오류, (2) 시간적 변동성, (3) 외부 환경 변화(예: 날씨, 조명) 등을 종합한 베이지안 업데이트식으로 계산되며, 이를 Softmax 형태의 가중치로 변환해 최종 예측 네트워크에 전달한다. 따라서 비행 중 시각 센서가 안개에 가려지면 신뢰도 스코어가 급감하고, 자세 센서가 안정적인 경우 해당 모달리티의 가중치가 자동으로 상승한다.

두 번째는 교차모달 대비 학습(CML) 전략이다. SaM²B는 ‘빔 의미(beam semantics)’라는 개념을 도입해, 각 모달리티가 추출한 특징을 동일한 의미 공간에 매핑한다. 구체적으로, 빔 라벨(예: 빔 ID 또는 각도)과 연결된 시멘틱 프로토타입을 사전 정의하고, 모달리티별 특징 벡터와 프로토타입 사이의 코사인 유사도를 대비 손실(contrastive loss) 형태로 최소화한다. 이 과정에서 양성 쌍은 동일 빔 라벨을 공유하는 특징-프로토타입, 음성 쌍은 다른 빔 라벨을 갖는 조합으로 구성된다. 결과적으로 모달리티 간 표현 정렬이 강화돼, 어느 한 모달리티가 손상되더라도 공유 의미 공간에 매핑된 다른 모달리티가 보완 역할을 수행한다.

실험에서는 실제 도시 저고도 환경에서 수집한 5,000여 개 비행 세그먼트를 사용했으며, 기존 단일 시각 기반 모델, 고정 가중치 다중모달 모델, 그리고 최신 트랜스포머 기반 멀티모달 합성 모델과 비교했다. SaM²B는 평균 빔 선택 정확도(Top‑1)에서 7.3%p, Top‑3 정확도에서 5.1%p 향상을 달성했으며, 특히 악천후·고도 급변 상황에서 성능 저하가 최소화되는 것이 확인되었다. Ablation Study를 통해 RDW와 CML 각각이 독립적으로도 성능 개선에 기여하지만, 결합될 때 시너지 효과가 가장 크게 나타남을 입증했다.

이와 같이 SaM²B는 동적 신뢰도 기반 가중치 조정과 공유 의미 공간 정렬이라는 두 축을 통해, 모달리티 간 불균형과 환경 변동성을 효과적으로 완화한다. 다만 현재는 경량 인코더 설계에 초점을 맞추어 고해상도 이미지나 레이더 등 고비용 센서와의 통합은 미흡하며, 실시간 구현을 위한 하드웨어 최적화가 향후 과제로 남는다.