폐쇄 인식을 고려한 멀티모달 빔 예측 및 위치 추정

초록

본 논문은 60 GHz V2I 환경에서 카메라, LiDAR, 레이더, GNSS 및 단기 mmWave 전력 히스토리를 동시에 활용하는 트랜스포머 기반 융합 네트워크를 제안한다. 모델은 수신 빔 인덱스, 차단 여부, 2차원 차량 위치를 하나의 멀티태스크로 예측하며, DeepSense 6G Scenario 31 데이터셋에서 Top‑1 빔 정확도 50.92 %, Top‑3 정확도 86.50 %, 스펙트럼 효율 손실 0.018 bits/s/Hz, 차단 클래스 F1 63.35 %, 위치 RMSE 1.33 m를 달성한다. 멀티모달 융합이 라디오 전용 및 단일 센서 대비 전반적인 성능 향상을 입증한다.

상세 분석

이 연구는 기존 mmWave V2I 빔 관리가 라디오 피드백에만 의존해 동적 차단 상황에서 불안정하다는 문제점을 인식하고, SLAM 개념을 차용해 인식·통신을 통합하는 새로운 프레임워크를 설계하였다. 핵심 아이디어는 다중 센서(RGB 카메라, LiDAR 포인트 클라우드, FMCW 레이더의 레인지‑앵글 맵, GNSS 위치, 그리고 직전 시간의 64‑빔 전력 벡터)를 각각 전용 인코더로 임베딩한 뒤, 트랜스포머 인코더에 입력해 공통 잠재 상태를 학습하는 것이다. 이 잠재 상태는 CLS 토큰에 집약되어 세 개의 헤드(빔 로짓, 차단 로짓, 2D 포즈)로 분기된다.

라벨링은 데이터 수집 시 수행된 전면 빔 스윕을 이용해 자동으로 생성한다. 최적 빔 인덱스는 가장 큰 수신 전력 빔을 선택하고, 차단 라벨은 전체 최대 전력의 하위 20 % 이하인 경우 차단으로 정의한다. 이렇게 하면 별도의 라벨링 비용 없이 대규모 데이터에 적용 가능하다.

학습 목표는 다중 태스크 손실 L(θ)=λ_beam·L_beam+λ_blk·L_blk+λ_pose·L_pose 로 구성된다. 각 손실은 크로스 엔트로피(빔), 바이너리 교차 엔트로피(차단), 평균 제곱 오차(포즈)이며, λ 파라미터는 손실 규모를 맞추고 빔 정렬을 우선시하도록 조정된다.

실험에서는 DeepSense 6G Scenario 31의 7012개 동기화 스냅샷을 70/15/15 비율로 학습·검증·테스트 셋으로 분할하였다. 멀티모달 모델은 학습 초기에 손실이 급감하고, 10 epoch 이후에도 과적합 없이 안정적인 수렴을 보였다. 빔 정확도 측면에서 카메라 단일 모델과 거의 동등한 Top‑1(50.79 % vs 50.92 %) 및 Top‑3(86.03 % vs 86.50 %) 성능을 유지하면서, 차단 탐지 F1 점수는 59.04 %에서 63.35 %로 4 %p 상승했고, 위치 추정 RMSE는 2.10 m에서 1.33 m로 37 % 개선되었다. 스펙트럼 효율 손실도 0.019 → 0.018 bits/s/Hz로 미세하게 감소하였다.

이 결과는 빔 선택에 있어 시각 정보가 가장 큰 기여를 하지만, LiDAR·레이다·GNSS·라디오 히스토리의 보조 정보가 차단 인식과 정밀 위치 추정에 크게 기여한다는 점을 시사한다. 특히 차단 상황에서는 라디오 전력 히스토리가 직접적인 차단 신호를 제공하고, 레이더·LiDAR는 물체의 형태와 거리 정보를 보강한다. 또한, 오프라인 LiDAR 맵에 예측 궤적을 오버레이한 SLAM‑스타일 시각화는 모델이 학습한 잠재 공간이 실제 물리적 환경과 일관된다는 직관적 검증을 제공한다.

한계점으로는 현재 2D 평면 위치만 예측하고, 동적 객체를 명시적으로 모델링하지 않으며, 실시간 추론 비용과 메모리 요구량에 대한 분석이 부족한 점을 들 수 있다. 향후 연구에서는 3D 포즈 추정, 동적 객체 트래킹, 경량화된 트랜스포머 설계 및 온라인 SLAM 연동을 통해 V2I 시스템의 실시간 적용 가능성을 높일 수 있을 것이다.