시각‑라디오 정렬 합성 데이터 플랫폼 SynthRM

초록

SynthRM은 카메라가 보는 시점에 보이는 표면만을 대상으로 전파를 레이 트레이싱함으로써, 픽셀‑레벨 시각‑라디오 정렬을 구현한 합성 데이터 플랫폼이다. 절차적 도시 생성, 깊이 기반 메쉬 복원, Sionna‑RT 기반 고정밀 전파 시뮬레이션을 결합해, 시각 정보와 전파 응답 사이의 물리적 인과관계를 명확히 제공한다.

상세 분석

본 논문은 6G 시대의 비전‑지원 무선 감지를 위한 데이터 기반 연구의 근본적인 한계를 지적한다. 기존 데이터셋은 ego‑centric RGB/Depth 영상과 전역적인 2D 라디오 히트맵을 매칭시키는 방식으로, 카메라 시야에 가려진 구조물·에지·코너 등 전파 전파에 결정적인 요소들을 누락한다. 이러한 “Mismatched” 접근은 입력 영상이 제공하는 부분적인 기하학적 정보(표면 법선, 거리, 가시성)와 목표 라디오 맵이 요구하는 전체 경로 길이·반사·회절·차단 정보를 일치시키지 못해, 역문제는 수학적으로 ill‑posed가 된다.

SynthRM은 이를 “Visible‑Aligned‑Surface”(VAS) 전략으로 해결한다. 먼저 절차적 콘텐츠 생성(PCG)으로 다양한 도시 환경을 만든 뒤, 카메라의 내·외부 파라미터와 깊이 맵을 이용해 시점 프러스텀에 보이는 표면을 정확히 복원한다. 복원 과정은 깊이값을 역투영해 3D 정점 집합을 만든 뒤, 이미지 격자 구조를 그대로 이용해 정점들을 삼각형으로 연결함으로써 픽셀‑레벨 메쉬를 생성한다. 이 메쉬는 실제 전파 전파에 영향을 주는 물리적 장애물이 아니라, 전파 수신점(Receiver)으로서만 활용된다.

그 후 Sionna‑RT 백엔드를 통해 각 삼각형 중심에 수신 안테나를 배치하고, 전파 전파를 전체 고정밀 3D 폴리곤(건물·도로·가구 등)과의 상호작용을 고려해 레이 트레이싱한다. 이렇게 하면 전파 손실, 반사·회절, 입사각 등에 대한 물리적 파라미터가 정확히 시각적 텍스처·재질·깊이와 1:1 대응한다. 결과적으로 학습 모델은 “전역 라디오 맵을 암기”하는 것이 아니라, 시각적 특징(예: 유리창의 투명도, 콘크리트 벽의 재질)과 전파 감쇠·반사 법칙을 일반화된 물리 법칙으로 학습하게 된다.

주요 기여는 네 가지이다. 첫째, VAS 기반 시뮬레이션 파이프라인을 제안해 시각‑라디오 정렬을 물리적으로 보장한다. 둘째, 절차적 도시 생성과 오픈소스 레이 트레이싱을 결합해 소비자급 하드웨어에서도 대규모 데이터셋을 손쉽게 생성할 수 있게 했다. 셋째, 3D 메타데이터(카메라 내·외부 파라미터, 복원된 메쉬, 재질 정보)를 포함한 최초의 라디오‑맵 데이터셋을 제공한다. 넷째, 이 데이터는 NeRF, 3D Gaussian Splatting 등 최신 3D 비전 모델과 직접 연동 가능하도록 설계되어, 환경 인지와 통신을 동시에 최적화하는 연구에 바로 활용될 수 있다.

한계점으로는 현재 시뮬레이션이 정적 환경에 국한되어 있어, 동적 객체(보행자·차량)의 움직임에 따른 실시간 전파 변화를 반영하기 어렵다는 점이다. 또한 레이 트레이싱 비용이 높은 고주파(mmWave·THz) 대역에서는 시뮬레이션 시간과 메모리 요구량이 급증할 수 있다. 향후 연구에서는 동적 시뮬레이션, 하드웨어 가속, 그리고 실제 측정 데이터와의 도메인 적응을 통해 이러한 제약을 완화할 여지가 있다.

전반적으로 SynthRM은 시각‑라디오 데이터 정렬 문제를 근본적으로 재정의함으로써, 물리 기반 학습과 데이터‑구동 모델 사이의 격차를 메우는 중요한 플랫폼으로 평가된다.