새로운 시점 합성 프라이어를 활용한 이미지 압축

초록

본 논문은 수중 로봇의 실시간 영상 전송을 위해, 사전 학습된 Novel View Synthesis(NVS) 모델을 이용해 장면 정보를 사전(prior)로 저장하고, 실시간 촬영 이미지와 모델이 렌더링한 이미지 간 차이를 최소화하는 잠재 변수(latent) 최적화를 수행한다. 차이 영상은 기존 이미지 코덱으로 고압축하고, 최적화된 잠재 변수와 함께 전송함으로써 기존 코덱 대비 압축률과 재구성 품질을 크게 향상시킨다. 또한 새로운 물체가 등장하거나 물속 혼탁도가 변해도 강인한 성능을 보인다.

상세 분석

본 연구는 수중 원격조작차(ROV)의 제한된 음향 통신 대역폭 문제를 해결하기 위해, “프라이어 기반 압축(prior‑based compression)”이라는 새로운 패러다임을 제시한다. 핵심 아이디어는 동일한 조사 지역을 반복 방문한다는 전제 하에, 사전 조사 단계에서 수집한 다수의 이미지로 3D Gaussian Splatting(3DGS)과 같은 Novel View Synthesis(NVS) 모델을 학습시키는 것이다. 이렇게 학습된 NVS 모델은 현장에 배치된 ROV와 지상 관제소 양쪽에 동일하게 저장되며, 임의의 카메라 포즈에 대한 고품질 렌더링을 실시간으로 제공한다.

실제 압축 과정은 두 단계로 나뉜다. 첫 번째는 현재 프레임의 카메라 포즈와 필요 시 추가적인 전이 임베딩을 최적화하여, NVS 모델이 가능한 한 원본 이미지와 일치하도록 만드는 과정이다. 이를 위해 논문은 iNVS(inverse NVS)라는 gradient‑descent 기반 최적화 루틴을 설계했으며, 초기값은 이전 프레임의 최적화된 잠재 변수 혹은 외부 추정값을 활용한다. 최적화 목표 함수는 픽셀‑레벨 L2 손실에 더해 구조적 유사도(SSIM)와 특징 매칭 손실을 가중합한 복합 손실이며, Adam 옵티마이저를 사용해 수십 밀리초 내에 수렴하도록 튜닝하였다.

두 번째 단계는 최적화된 NVS 렌더링 이미지와 실제 카메라 이미지 간 차이(diff) 영상을 계산하고, 이를 기존의 웹P 혹은 JPEG‑XL 같은 고전 코덱으로 압축하는 것이다. 차이 영상은 대부분 정적 배경이 사전 모델에 의해 재현되므로, 남는 잔여 정보가 매우 희소하고 엔트로피가 낮아 높은 압축률을 달성한다. 전송되는 데이터는 (1) 최적화된 잠재 변수(포즈와 임베딩)와 (2) 압축된 차이 영상이다. 수신 측에서는 동일한 NVS 모델에 잠재 변수를 입력해 렌더링 이미지를 복원하고, 압축 해제된 차이 영상을 더해 최종 이미지가 재구성된다.

핵심 기술적 기여는 다음과 같다. 첫째, NVS 모델을 이미지 압축의 “프라이어”로 활용함으로써 기존 학습 기반 압축이 요구하는 방대한 데이터셋 의존성을 제거하고, 현장 특화된 고정밀 압축을 가능하게 했다. 둘째, iNVS 최적화는 전통적인 포즈 추정보다 훨씬 정밀한 잠재 변수 추정을 제공해, 차이 영상의 엔트로피를 최소화한다. 셋째, 다양한 손실 함수와 초기화 전략에 대한 체계적인 Ablation 연구를 통해 실시간 제약 하에서도 안정적인 수렴을 보장한다. 넷째, 실험에서는 인공 해양 베이스와 실제 산호초 데이터셋을 사용해, 기존 웹P, JPEG‑XL, 최신 학습 기반 압축(Mean‑Scale Hyperprior, MLIC++) 대비 2~3배 높은 압축률과 PSNR/SSIM 향상을 입증했다. 특히 새로운 물체가 등장하거나 물속 탁도·백스캐터링이 변해도 차이 영상의 압축 효율이 크게 감소하지 않아, 실제 운영 환경에서의 강인성을 확인하였다.

이러한 접근은 압축 효율뿐 아니라 연산 비용 측면에서도 유리하다. 3DGS 렌더링은 GPU에서 실시간(30 fps 이상)으로 가능하고, iNVS 최적화는 프레임당 평균 50 ms 이하의 지연을 보인다. 따라서 전체 파이프라인은 100 kbps 수준의 음향 링크에서도 초당 5~10프레임 정도의 실시간 영상을 제공할 수 있다.

마지막으로 논문은 현재 프레임 손실·비트 오류 등 전송 채널의 물리적 문제는 기존 음향 모뎀 프로토콜에 맡기고, 소스 코딩(압축) 단계에만 집중함으로써 연구 범위를 명확히 정의하였다. 향후 연구에서는 프라이어 업데이트(새로운 이미지 추가 학습)와 다중 로봇 협업 시 프라이어 공유 메커니즘을 탐색할 계획이다.