SceneLinker RGB 시퀀스로 의미 장면 그래프 기반 3D 장면 생성

초록

SceneLinker는 연속적인 RGB 이미지 시퀀스를 입력으로 받아, 객체 수준의 의미 장면 그래프를 예측하고, 이를 그래프‑VAE와 Joint Shape‑Layout 블록에 결합해 실제 공간 배치를 유지하는 3D 장면을 자동으로 생성한다. 3RScan/3DSSG와 SG‑FRONT 데이터셋에서 기존 방법보다 그래프 일관성 및 장면 품질이 크게 향상된다.

상세 분석

본 논문은 실시간 MR 환경에서 사용자의 실제 공간에 맞는 가상 콘텐츠를 제공하기 위해, RGB 시퀀스로부터 3D 의미 장면 그래프를 추출하고 이를 기반으로 3D 장면을 합성하는 두 단계 파이프라인을 제안한다. 첫 번째 단계인 그래프 예측에서는 Visual‑SLAM(ORB‑SLAM3)으로 얻은 키프레임과 포인트 클라우드를 이용해 ‘엔티티 가시성 그래프’와 ‘이웃 그래프’를 구축한다. 엔티티 가시성 그래프는 다중 뷰 이미지 특징을 ResNet‑18로 추출해 노드에 할당하고, 포인트 특징은 PointNet으로 인코딩한다. 두 그래프의 정보를 시그모이드 게이트(ρ)로 융합해 이미지와 포인트 특징을 보완한다. 이후, 이웃 그래프의 경계 상자 충돌 검출을 통해 공간 인접성을 정의하고, 각 엣지에 대해 상대 포즈와 축별 최대·최소값을 계산해 관계 특징을 만든다.

핵심 기여는 ‘Cross‑Check Feature Attention (CCFA)’이다. 기존의 노드‑중심 혹은 엣지‑중심 어텐션이 한쪽 특징에 편중되는 문제를 해결하기 위해, 인접 노드 쌍의 특징을 교차 검증하여 유사도 스코어를 재조정한다. 이를 통해 복잡한 실내 환경에서도 객체 간 관계(‘가깝다’, ‘대칭’, ‘높다/낮다’ 등)의 정확한 추론이 가능해진다.

두 번째 단계인 3D 장면 생성에서는 예측된 그래프와 각 노드의 초기 형태 코드를 DeepSDF로부터 받아, 사전 학습된 CLIP 기반 비전‑언어 모델로 객체와 관계 특징을 강화한다. 이후 Graph‑VAE 구조에 Joint Shape‑and‑Layout (JSL) 블록을 삽입해 형태와 배치 정보를 동시에 디코딩한다. JSL 블록은 형태 잠재벡터와 경계 상자 파라미터를 결합해, 레이아웃 일관성을 유지하면서도 다양한 형태를 생성하도록 설계되었다. VAE 기반이므로 확산 모델에 비해 추론 속도가 빠르고, MR 애플리케이션에 적합한 실시간성을 제공한다.

실험에서는 3RScan/3DSSG와 SG‑FRONT 두 데이터셋에서 그래프 예측 정확도와 최종 장면 품질을 평가하였다. ‘Close‑by’, ‘Symmetrical’ 등 관계별 Recall이 기존 최첨단 방법보다 각각 7%·14% 이상 향상되었으며, 정량적 지표인 mAP, IoU, FID에서도 유의미한 개선을 보였다. 정성적 평가에서도 복잡한 방 구조와 다중 객체 배치를 정확히 재현하는 모습을 확인할 수 있었다.

전체적으로 SceneLinker는 (1) 다중 모달리티를 활용한 견고한 3D 엔티티 추출, (2) 교차 검증 기반 어텐션으로 관계 추론 강화, (3) 형태와 레이아웃을 공동 학습하는 Graph‑VAE 설계라는 세 가지 핵심 기술을 결합해, 실시간 MR 콘텐츠 제작에 필요한 고품질, 고일관성 3D 장면 생성 문제를 효과적으로 해결한다.