CNN 기반 고해상도 LiDAR 데이터 합성

본 논문은 자율주행 차량에 필수적인 고해상도 LiDAR 데이터를 단일 프레임만을 이용해 효율적으로 생성하는 새로운 CNN 기반 프레임워크를 제안한다. LiDAR 스캐너는 수평 해상도는 높지만 수직 레이어 수가 제한적이며, 이로 인해 포인트 클라우드가 희소하고 불규칙한 형태를 띤다. 기존에는 여러 프레임을 누적하거나 RGB 카메라와의 융합을 통해 해상도를 보완했지만, 전자는 움직이는 객체에 대한 제한이 있고 후자는 센서 구성에 제약이 있다. 따라서 저자는 원통형 2D 투영(거리 이미지) 형태로 데이터를 변환한 뒤, 이 규칙적인 이미지에 2D CNN을 적용해 수직 해상도를 두 배로 늘리는 접근법을 채택한다. **관련 연구**에서는 RGB 이미지 초해상도(SRCNN, SRGAN 등)와 포인트 클라우드 업샘플링(PU‑Net, depth completion) 방법을 검토한다. 그러나 RGB 기반 방법은 밀집 입력을 전제로 하며, 포인트 클라우드 방법은 원본 구조를 잃고 무작위 점 집합을 생성한다는 점에서 LiDAR 특수성에 부합하지 않는다. **제안 방법**은 크게 세 부분으로 구성된다. 첫째, **Cylindrical LiDAR Projection** 단계에서 각 레이저 레이어와 방위각을 행·열 좌표에 매핑해 거리 이미지를 만든다. 누락된 측정값은 0(d*)으로 채워 네트워크 입력을 밀집 형태로 만든다. 둘째, **Up‑Sampling Network**는 9×9 초기/최종 컨볼루션, 3×3 중간 레이어, 16개의 레지듀얼 블록, 그리고 (4,1) 크기의 전치 컨볼루션을 포함한 완전 합성곱 구조이며, 입력(L/2×W)에서 출력(L×W)으로 직접 스케일링 파라미터를 학습한다. 셋째, **Loss Functions**는 세 가지 변형을 제공한다. - **Modified Point‑wise Loss**(L₁/L₂)에서는 유효 측정 V만을 대상으로 마스크링해 거리 오차를 최소화한다. - **Perceptual Loss**는 사전 학습된 의미 분할 네트워크 φ를 피처 추출기로 사용해, 고차원 피처 맵 간 L₁ 차이를 최소화함으로써 시각적·의미적 유사성을 확보한다. - **Semantic Consistency Loss**는 교차 엔트로피 기반 의미 분류 손실과 점별 L₁ 손실을 다중 과제 가중치(σ_r, σ_c)로 균형 맞춰, 업샘플링 과정에서 의미 라벨이 보존되도록 한다. **실험**에서는 KITTI Raw와 자체 라벨링된 Semantics 데이터셋을 활용해 학습·검증·테스트를 3‑way split하였다. 평가 지표는 거리 RMSE/MAE, 의미 분할 IoU(13 클래스), 그리고 인간 주관 평가인 MOS(mean opinion score)이다. 비교 대상은 전통적인 선형·bicubic 보간, 최신 포인트 클라우드 업샘플링(PU‑Net), 그리고 기존 2D 이미지 초해상도 모델이다. 결과는 제안 방법이 모든 정량 지표에서 5‑12% 향상을 보였으며, 특히 의미 일관성 점수와 MOS에서 기존 방법 대비 평균 0.8점 이상 높은 점수를 기록했다. 시각적으로도 원본과 거의 구분이 어려운 고해상도 포인트 클라우드를 생성함을 확인했다. **기여 및 한계**로는 (1) LiDAR 전용 퍼셉추얼 손실을 최초로 도입, (2) 의미 일관성을 보장하는 다중 과제 손실 설계, (3) 대규모 실제 데이터에서 정량·정성 평가를 동시에 수행한 점을 들 수 있다. 한편, 현재는 2배 업샘플링에 초점을 맞추었으며, 더 높은 배율이나 다양한 환경(악천후, 실내)에서의 일반화는 추가 연구가 필요하다. 또한 퍼셉추얼 손실에 사용된 의미 분할 네트워크가 특정 도메인에 최적화돼 있어, 도메인 적응 기법이나 GAN 기반 적대적 손실을 결합하면 더욱 현실감 있는 점 구름을 생성할 수 있을 것으로 기대된다.