시각 기반 의미 점유 예측을 위한 ForecastOcc: 미래 3D 장면을 한눈에

초록

ForecastOcc은 카메라 이미지만을 입력으로 받아, 다중 시간대의 3D voxel 수준에서 점유와 의미를 동시에 예측하는 최초의 프레임워크이다. 기존 방법이 별도의 점유 맵을 전처리 단계로 사용해 오류 누적과 계산 비용을 초래하던 문제를 해결하고, 시간 교차‑Attention과 2D‑to‑3D 뷰 트랜스포머를 결합해 이미지‑기반으로 직접 spatio‑temporal 특징을 학습한다. 멀티‑뷰 Occ3D‑nuScenes와 단일‑뷰 SemanticKITTI에서 기존 베이스라인을 크게 앞서며, 향후 자율주행 시스템에 풍부한 의미 정보를 제공한다.

상세 분석

본 논문은 자율주행 차량이 미래 환경을 정확히 예측하기 위해서는 “geometry”(점유)와 “semantics”(의미) 두 축을 동시에 다루어야 한다는 점을 강조한다. 기존의 비전 기반 점유 예측은 정적/동적이라는 거친 구분에 머물렀으며, 의미 정보를 포함한 최신 연구는 별도의 점유 맵을 먼저 생성한 뒤 이를 입력으로 사용한다. 이러한 파이프라인은 ① 외부 점유 예측 네트워크에 대한 의존성으로 인한 연산량 증가, ② 초기 단계에서 발생한 오류가 시계열 전체에 전파되는 error accumulation 문제를 야기한다.

ForecastOcc은 이러한 한계를 극복하기 위해 이미지 → 2D 특징 → 미래 시점 특징 → 3D voxel 순서로 직접 변환한다. 핵심은 세 가지 모듈이다.

1. Temporal Cross‑Attention Forecasting Module: 과거 N 프레임(논문에서는 N=4)의 2D 특징에 scale, camera, temporal 임베딩을 추가하고, 미래 시점에 대한 query를 현재 프레임 특징에서 초기화한다. 이후 L개의 interaction layer를 순차적으로 적용해 과거‑현재 특징과 query 간 cross‑attention, query 내부 self‑attention, FFN, 그리고 공유된 Future State Synthesizer(3‑layer MLP)로 업데이트한다. 이 과정은 각 horizon(k∈{1s,2s,3s})에 대해 독립적으로 수행돼, 시계열 정보를 점진적으로 축적한다.
2. 2D‑to‑3D View Transformer: ForecastOcc은 Lift‑Splat‑Shoot 방식을 차용해, 시점별 2D 특징을 카메라 내·외부 파라미터를 이용해 3D voxel grid(64×16×200×200)로 투사한다. 이때 depth와 context distribution을 별도 채널로 구성해, 깊이 불확실성을 보완한다.
3. 3D Encoder + Semantic Occupancy Head: 변환된 3D 특징은 3D ResNet 기반 인코더와 FPN 구조를 통해 다중 스케일로 정제된다. 최종 헤드는 각 voxel에 대해 C_cls(예: 차량, 보행자, 도로 등) 클래스를 예측하며, 여러 horizon에 대해 동시에 출력한다.

학습 단계에서는 Future State Alignment Loss를 도입한다. 실제 미래 이미지(학습 시에만 사용)를 동일한 이미지 인코더로 추출한 특징 G와 ForecastOcc이 생성한 특징 F 사이에 Huber loss와 cosine similarity loss를 결합해 정량·정향 정합성을 강제한다. 이는 이미지‑기반 예측이 실제 관측과 일관되도록 유도한다.

실험은 두 데이터셋에서 수행된다. 멀티‑뷰 Occ3D‑nuScenes에서는 6개의 카메라 시퀀스를 사용해 13초 horizon을 예측했으며, 단일‑뷰 SemanticKITTI에서는 monocular 설정으로 동일한 horizon을 평가했다. 베이스라인은 2D‑forecasting 모듈(예: ConvLSTM, Transformer)만을 적용한 버전이며, ForecastOcc은 mIoU와 IoU‑based occupancy metric 모두에서 평균 712%p 상승한다. Ablation study는 (i) temporal cross‑attention, (ii) view transformer, (iii) alignment loss 각각이 성능에 미치는 기여도를 정량화한다.

한계점으로는 (1) 현재는 고정된 카메라 캘리브레이션을 전제로 하며, 동적 캘리브레이션 변화에 취약하고, (2) voxel 해상도가 0.5m 수준으로 제한돼 먼 거리 객체의 세밀한 의미 구분에 한계가 있다. 또한, 학습 시 미래 이미지가 필요하므로 완전한 온라인 추론 시에는 별도 시뮬레이션 데이터가 필요할 수 있다. 향후 연구는 비정형 카메라 배열, 가변 해상도 voxel, 그리고 라이다‑이미지 멀티모달 융합을 통해 이러한 제약을 완화할 여지가 있다.