4D 라다프: 레이더 포인트 클라우드 생성을 위한 잠재 확산 프레임워크

초록

본 논문은 자동차용 4D 레이더 포인트 클라우드의 부족한 라벨 데이터를 해결하고자, 라이다와 3D 바운딩 박스를 조건으로 하는 잠재 공간 확산 모델(4D‑RaDiff)을 제안한다. 레이더 특유의 희소성과 도플러·RCS 정보를 유지하면서 전경·배경을 별도로 생성하고, 합성 데이터를 데이터 증강 및 사전학습에 활용해 객체 검출 성능을 크게 향상시킨다.

상세 분석

4D‑RaDiff는 레이더 포인트 클라우드의 고유한 특성을 고려한 최초의 잠재 확산 모델이다. 기존 이미지 기반 확산 방식은 레이더 데이터를 이미지로 변환하면 극도로 희소해져 학습 효율이 떨어지는 문제가 있었으며, 점 자체에 직접 확산을 적용하면 불규칙한 특성(좌표, 도플러, RCS) 때문에 모델링이 어려웠다. 이를 해결하기 위해 저자들은 두 단계 접근법을 채택한다. 첫 단계에서는 점 기반 변분 오토인코더(VAE)를 사용해 레이더 포인트( xyz + 도플러 + RCS)를 정규화된 잠재 점 구름(z ∈ ℝ^{M×d_z})으로 압축한다. VAE는 재구성 손실과 KL 정규화 손실을 동시에 최적화해, 원본 데이터의 구조적·통계적 특성을 유지하면서 차원을 크게 축소한다. 두 번째 단계에서는 이 잠재 표현에 Sparse Point‑Voxel Diffusion(SPVD) 기반의 확산 모델을 적용한다. 확산 과정은 전통적인 DDPM 수식에 따라 진행되며, 조건 인코더 τ_θ가 각 조건(3D 바운딩 박스 혹은 라이다 포인트)별로 별도로 학습된다.

전경( foreground) 생성은 3D 바운딩 박스를 입력으로 하며, 레이더 객체의 동적 특성(속도, 요잉)까지 포함한다. 저자는 LayoutDiffusion의 2D 레이아웃 인코딩 방식을 3D로 확장해, 고정된 전역 객체(o₀)와 실제 객체(o_i)를 결합한 레이아웃 임베딩을 만든 뒤, 교차‑어텐션을 통해 LDM에 전달한다. 이렇게 하면 각 객체별 도플러 값과 RCS가 물리적으로 일관된 형태로 샘플링된다.

배경( background) 생성은 라이다 포인트 클라우드를 조건으로 한다. 라이다는 정밀한 정적 환경 정보를 제공하므로, PointPillars를 이용해 라이다를 피라미드 형태의 중간 표현으로 변환하고 이를 교차‑어텐션에 입력한다. 이 설계는 라이다‑레이다 동시 데이터가 존재하는 기존 데이터셋(VOD, TruckScenes)에서 라이다만 있는 경우에도 합성 레이더 포인트를 손쉽게 생성할 수 있게 해준다.

실험에서는 전경·배경 모델을 각각 별도 GPU(RTX 4090)에서 학습하고, 합성 데이터를 GT‑Sampling과 비교했을 때 객체 검출 성능이 일관적으로 향상됨을 보였다. 특히 사전학습(pre‑training) 후 실제 데이터로 미세조정(fine‑tuning)하면 라벨 수를 90 %까지 감소시켜도 기존 실데이터만 학습한 경우와 동등한 AP를 달성한다. 이는 합성 레이더 데이터가 실제 도플러·RCS 분포를 충분히 재현한다는 강력한 증거다.

또한, 저자들은 기존 레이더 기반 생성 모델(예: Sem‑RaDiff)이 텐서 기반이거나 라이다를 보조 조건으로 사용해 도플러·RCS를 제대로 생성하지 못하는 한계를 지적한다. 4D‑RaDiff는 완전한 점 기반 잠재 공간에서 직접 샘플링함으로써 이러한 제약을 극복하고, 전경·배경을 별도 모델링함으로써 각각의 통계적 특성을 정확히 반영한다.

전체적으로 본 연구는 (1) 레이더 전용 잠재 확산 프레임워크 설계, (2) 전경·배경 분리 생성 파이프라인, (3) 도플러·RCS를 포함한 고품질 합성 레이더 데이터 제공, (4) 합성 데이터가 실제 객체 검출 파이프라인에 미치는 긍정적 효과 입증이라는 네 가지 핵심 기여를 한다. 이는 자율주행 차량의 레이더 데이터 부족 문제를 해결하고, 악천후에서도 강인한 인식 시스템을 구축하는 데 중요한 발판이 될 것이다.