멀티모달 무선 데이터셋 대규모 센서 통신 동시 캡처

초록

**
본 논문은 CARLA와 Sionna 기반 파이프라인을 이용해 100 Hz로 동기화된 CSI와 LiDAR, RGB·Depth 카메라, IMU, 레이더 5가지 센서를 포함한 대규모 멀티모달 데이터셋 Multimodal‑Wireless을 공개한다. 4개 가상 도시, 16개 통신 시나리오, 3가지 날씨 조건을 아우르며 총 16만 프레임을 제공한다. 데이터셋의 확장성, 전천후 날씨 대응, V2X·협업 인식 통합 등 특징을 강조하고, 멀티모달 대형 언어 모델을 이용한 빔 예측 사례를 제시한다.

**

상세 분석

**
Multimodal‑Wireless 데이터셋은 기존 V2X·협업 인식 데이터와 무선 채널 데이터가 별도로 존재하던 문제를 근본적으로 해결한다. 첫째, 5 GHz 이상 5G NR 프레임 구조와 일치하도록 100 Hz 샘플링된 고해상도 CSI를 제공한다는 점이 가장 큰 혁신이다. 기존 DeepMIMO·BostonTwin 등은 주로 수신 전력 혹은 정적 채널 매개변수만을 제공했지만, 본 데이터는 각 경로의 복소 이득, 도착·출발 각, 지연 등을 포함한 다중 경로 파라미터를 원시 형태로 저장한다. 이를 통해 빔포밍, 채널 추정, 물리‑계층 시뮬레이션뿐 아니라 머신러닝 기반 채널 모델링까지 폭넓게 활용 가능하다.

둘째, 날씨 변수(맑음, 비, 안개)를 시뮬레이션에 체계적으로 삽입했다는 점이다. LiDAR와 카메라의 감도 저하, 레이더의 반사 특성 변화, 그리고 전파 전파 손실까지 모두 동일 시점에 기록되므로, 악천후 환경에서 센서·통신 융합 알고리즘을 검증할 수 있다. 이는 기존 데이터셋이 날씨 변수를 거의 제공하지 않던 것과 대조된다.

셋째, 파이프라인 설계가 ‘구성 파일 하나로 전 과정 재생성 가능’하도록 모듈화돼 있다. CARLA에서 시나리오 실행 → Blender를 통한 전자기 재현 → Sionna 레이 트레이싱 순서가 자동화돼 있어, 연구자는 새로운 도시 지도, 차량·RSU 배치, 안테나 배열, 주파수 대역 등을 손쉽게 바꿀 수 있다. 이는 데이터셋을 정적인 리소스가 아니라 ‘동적 연구 도구’로 전환한다는 의미다.

넷째, V2X 통신과 협업 인식을 동시에 지원한다는 점이다. 각 프레임마다 3D 바운딩 박스와 객체 라벨이 제공되며, 동시에 RSU‑CA V 간의 V2I·V2V 채널이 기록된다. 따라서 ‘통신‑인식 공동 최적화’(예: 빔 선택을 위한 객체 인식, 라이다 기반 위치 추정에 채널 정보를 활용) 연구가 바로 실행 가능하다.

마지막으로, 데이터 규모와 다양성도 주목할 만하다. 4개의 가상 도시(도시·교외·고층·밀집)와 16개의 시나리오(라운드어바웃, 스카이브릿지, 교차로 등)에서 8~13 초 길이의 연속 프레임을 100 Hz로 수집해 총 160 k 프레임을 확보했다. 이는 기존 협업 인식 데이터셋(OPV2V·DAIR‑V2X)보다 센서·채널 동기화 측면에서 10배 이상 풍부한 양이다.

이러한 특성들은 차세대 컨텍스트‑어웨어 통신, 멀티모달 대형 언어 모델 기반 빔 예측, 그리고 전천후 V2X 시스템 설계에 필수적인 실험 기반을 제공한다.

**