수중 라이트 필드 이미지 향상을 위한 전역 기하 인식 확산 프로세스

초록

본 논문은 4‑D 라이트 필드(LF) 데이터를 활용한 수중 이미지 복원을 위해, SD‑Turbo 기반의 확산 모델에 전역 기하 정보를 결합한 GeoDiff‑LF 프레임워크를 제안한다. 변형된 U‑Net 구조와 텐서 분해 기반 손실, 그리고 중간 단계에서의 노이즈 예측 전략을 통해 차원 불일치와 연산 비용 문제를 해결하고, 색 왜곡·저조도·흐림을 효과적으로 감소시킨다. 실험 결과, 기존 2‑D 및 4‑D LF 기반 방법들을 모두 능가한다.

상세 분석

GeoDiff‑LF는 수중 라이트 필드 이미지 복원의 세 가지 핵심 난관을 체계적으로 해소한다. 첫째, 기존 확산 모델은 2‑D RGB 이미지에 최적화돼 있어 4‑D LF의 공간‑각도(Spatial‑Angular) 구조를 그대로 처리하면 차원 불일치와 정보 손실이 발생한다. 이를 극복하기 위해 저자들은 U‑Net에 “Convolutional Adapter”와 “Attention Adapter” 모듈을 삽입했다. Convolutional Adapter는 4‑D 텐서에 대한 효율적인 공간‑각도 분리 컨볼루션을 구현해 메모리 사용량을 최소화하면서 다중 뷰 간 상관관계를 포착한다. Attention Adapter는 각 뷰와 각도 축을 넘나드는 전역적인 종속성을 학습하도록 설계돼, 특히 깊이‑의존적인 색상 감쇠와 산란 효과를 정확히 모델링한다.

둘째, 전역 기하 정규화(Global Geometry Regularization)는 텐서 분해(Tensor Decomposition)를 기반으로 한다. 원본 LF 텐서를 CP( CANDECOMP/PARAFAC) 형태로 분해해 핵심 구조 성분(공통 색상·조도·깊이)을 추출하고, 이를 손실 함수에 progressive weighting 방식으로 통합한다. 초기 단계에서는 저중량 가중치를 부여해 전반적인 색상 보정에 집중하고, 후반부로 갈수록 구조적 일관성을 강화해 세부 디테일과 깊이 연속성을 유지한다. 이러한 단계적 가중치 스케줄은 기존 L1/L2 기반 손실이 과도하게 색상 왜곡을 억제하거나 구조를 손상시키는 문제를 완화한다.

셋째, 효율적인 샘플링 전략은 “Noise Map Predictor”를 도입해 전체 T 단계 중 중간 타임스텝 τ(τ<T)부터 역전파를 시작한다. 수중 이미지 Y₀와 τ를 입력으로 노이즈 맵을 예측하고, 이를 기반으로 X_τ를 생성함으로써 초기 고노이즈 단계(대부분 무의미한 연산)를 건너뛴다. 이 과정은 DDIM·DDPM의 고전적 샘플링 비용을 1∼4 스텝 수준으로 크게 감소시키면서도, 원본 이미지와의 차이가 작은 수중 환경에 특화된 정밀 복원을 가능하게 한다.

실험 설계는 두 개의 공개 LF 수중 데이터셋(75개 장면 및 대규모 실측 데이터)과 여러 베이스라인(전통적 물리 기반, 2‑D DiffUIE, LF‑전용 CNN/Transformer)과의 비교를 포함한다. 정량 지표(PSNR, SSIM, CIEDE2000)와 정성 평가에서 GeoDiff‑LF는 평균 2.1dB 이상의 PSNR 향상과 색상 정확도에서 현저한 개선을 보였다. 특히 깊이 추정과 연계된 다중 뷰 일관성 유지가 눈에 띄게 향상돼, 후속 물체 검출·분할 작업에서도 성능 상승을 입증한다.

한계점으로는 현재 모델이 사전 학습된 SD‑Turbo를 파인튜닝하는 방식이라, 완전한 4‑D LF 전용 대규모 데이터셋이 부족할 경우 일반화 성능이 제한될 수 있다. 또한, 어두운 심해 환경에서의 극단적 색상 소실에 대해서는 추가적인 물리 기반 전처리와 결합이 필요할 것으로 보인다. 향후 연구는 멀티‑스케일 기하 어텐션과 라이트 필드 깊이 추정 모듈을 공동 학습시키는 멀티‑태스크 프레임워크로 확장하는 방향이 기대된다.