ThermoSplat 열가시광선 융합 3D 가우시안 스플래팅

초록

ThermoSplat은 RGB와 열 적외선 영상을 동시에 활용해 3D 장면을 고속·고품질로 재구성하는 프레임워크이다. 열 영상에서 얻은 구조적 프라이어를 이용해 공유 라틴트 피처를 동적으로 조절하는 스펙트럼‑어웨어 어댑티브 모듈레이션과, 열 전용 불투명도 오프셋을 학습해 별도 레스터화 과정을 수행하는 모달리티‑어댑티브 기하학 디커플링을 도입한다. 또한 명시적 구면조화(Spherical Harmonics)와 암시적 신경 디코딩을 결합한 하이브리드 렌더링 파이프라인으로 고주파 디테일을 보존한다. RGBT‑Scenes 데이터셋 실험에서 가시광선·열 영상 모두에서 최첨단 품질을 달성한다.

상세 분석

ThermoSplat은 기존 3D Gaussian Splatting(3DGS)의 장점인 실시간 렌더링과 고해상도 표현을 유지하면서, 다중 스펙트럼(RGB + 열) 데이터를 효과적으로 통합한다는 점에서 의미가 크다. 핵심 기법은 두 단계로 나뉜다. 첫 번째는 ‘스펙트럼‑어웨어 어댑티브 모듈레이션(Spectrum‑Aware Adaptive Modulation)’이다. 여기서는 3DGS가 출력한 라틴트 피처 맵 Af를 공유 인코더 Φshared에 통과시켜 공통 표현 h를 얻고, 열 전용 프라이어 헤드 Φth가 생성한 열 특성 hth를 기반으로 선형 변환 Φmod을 통해 스케일 γ와 시프트 β를 도출한다. 이후 h에 γ·h + β 연산을 적용해 열 구조가 반영된 모듈레이션된 피처 hmod를 만든다. 이 과정은 열 영상이 제공하는 경계와 구조 정보를 가시광선 텍스처 합성에 직접적인 조건으로 활용함으로써, 조명 변화에 취약한 RGB만의 한계를 극복한다. 두 번째는 ‘모달리티‑어댑티브 기하학 디커플링(Modality‑Adaptive Geometric Decoupling)’이다. 열 영상은 투명도와 반사 특성이 RGB와 다르므로, 각 가우시안의 기본 불투명도 α에 학습 가능한 오프셋 Δtα를 더해 열 전용 불투명도 αt를 만든다. 이렇게 조정된 αt를 사용해 별도의 레스터화 패스(Af(t))를 수행함으로써, 열 전용 뎁스와 오클루전이 물리적으로 일관된 결과를 얻는다. 이 디커플링은 열 영상이 가시광선 텍스처의 고주파 노이즈를 그대로 물려받는 현상을 방지한다. 마지막으로, 하이브리드 렌더링 파이프라인에서는 명시적 구면조화(SH) 계수를 기존 3DGS와 동일하게 유지하면서, 모듈레이션된 피처 hmod를 신경망 Φrgb에 입력해 고주파 색상 성분을 복원한다. 결과적으로 저주파의 전역 조명·색상 일관성은 SH가 담당하고, 고주파 디테일은 신경 디코더가 보강한다는 이중 구조가 형성된다. 실험에서는 RGBT‑Scenes 데이터셋을 활용해 PSNR, SSIM, LPIPS 등 다중 지표에서 기존 ThermalGaussian, MS‑Splatting, MMOne 등을 크게 앞선 성능을 기록한다. 특히 조명이 극히 어두운 상황이나 연무·연기와 같은 복합 환경에서도 열 프라이어가 제공하는 견고한 기하학 정보를 통해 가시광선 재구성이 안정적으로 유지되는 점이 눈에 띈다. 전체적으로 ThermoSplat은 공유 라틴트 공간 위에 열‑가시광선 상호작용을 명시적으로 모델링하고, 물리적 차이를 반영한 기하학 디커플링을 도입함으로써, 멀티모달 3D 재구성 분야에서 실시간성과 품질 사이의 트레이드오프를 크게 완화한다.