4차원 라이트필드 압축 성능 종합 평가와 최적 방법 탐색

본 논문은 라이트필드(LF) 데이터의 저장·전송 부담을 완화하기 위해 최신 이미지·비디오 압축 기술을 4차원 라이트필드에 적용하고, 그 성능을 체계적으로 평가한다. 라이트필드는 공간 좌표(x, y, z)와 시점 각도(φ, ψ)로 정의되는 5차원 함수이지만, 실제 캡처에서는 2차원 평면에 배치된 다수의 카메라 혹은 마이크로렌즈 배열을 통해 4차원(시점 k,l × 픽셀 m,n)으로 샘플링된다. 이러한 데이터는 해상도와 카메라 수에 따라 수 기가바이트에 달할 수 있어 효율적인 압축이 필수적이다. 연구자는 먼저 라이트필드 압축에 적용 가능한 방법을 네 그룹으로 분류한다. 첫 번째는 전통적인 2D 이미지 코덱(JPEG, JPEG 2000)이며, 두 번째는 비디오 코덱(HEVC, AV1, VP9, XVC)을 시점 순서에 따라 ‘의사 시퀀스’로 취급하는 방식이다. 세 번째는 이미지 코덱을 3차원 볼륨 형태로 확장한 JPEG 3D와 JPEG 2000 3D이며, 네 번째는 저자 자체 구현인 JPEG 4D로 4차원 데이터를 직접 압축한다. 실험에 사용된 데이터셋은 ‘Black Fence’, ‘Chessboard’, ‘Lego Bulldozer’, ‘Palais du Luxembourg’ 네 개이며, 각각 플레노프틱 카메라와 다중 카메라 어레이, 모터식 갠트리 등 다양한 캡처 장치를 이용해 얻었다. 각 라이트필드의 시점 간 격차(베이스라인)는 –1~1픽셀(고밀도)부터 40~90픽셀(저밀도)까지 다양하다. 품질 평가는 단순히 압축 전후의 라이트필드 자체를 비교하는 것이 아니라, 다중 초점 평면을 합성한 이미지들의 평균 PSNR을 사용한다. 이는 라이트필드가 실제로는 다양한 초점과 시점을 재구성하는 데 쓰이기 때문에, 최종 시각적 품질을 더 정확히 반영한다. 실험 0에서는 라이트필드 자체와 렌더링된 이미지 간 PSNR 차이를 확인했으며, 렌더링된 이미지가 압축 잡음을 평균화해 약 10 dB 높은 PSNR을 보임을 확인했다. 이는 라이트필드를 보다 높은 압축률로 처리해도 최종 화면 품질이 크게 저하되지 않음을 의미한다. 실험 1에서는 동일한 JPEG 알고리즘을 2D·3D·4D 형태로 적용해 압축 효율을 비교했다. 베이스라인이 작아 시점 간 상관성이 높은 ‘Black Fence’와 ‘Palais du Luxembourg’에서는 3D·4D JPEG가 2D 대비 2~3 dB 높은 PSNR을 제공했으며, 특히 4D JPEG가 가장 우수했다. 반면 베이스라인이 큰 ‘Chessboard’와 ‘Lego Bulldozer’에서는 2D 압축이 오히려 더 높은 PSNR을 달성했다. 이는 시점 간 차이가 클수록 차원 확장 압축이 변환 계수의 에너지를 크게 늘려 효율이 떨어지기 때문이다. 특히 ‘Lego Bulldozer’는 검은 영역이 넓어 4D 블록 압축이 유리했지만, 전반적으로는 베이스라인이 압축 차원 선택에 결정적인 영향을 미친다. 실험 2에서는 비디오 코덱들을 동일한 라이트필드 시퀀스에 적용했다. 결과는 AV1와 XVC가 전반적으로 가장 높은 압축 효율을 보였으며, 특히 저비트레이트(≤0.01 bpp) 구간에서 HEVC를 10~15 % 정도 능가했다. VP9는 AV1보다는 낮지만 HEVC보다는 우수했다. XVC는 공식 주장대로 모든 비교 대상보다 높은 PSNR을 제공했지만, 구현 최적화와 라이선스 이슈가 실제 적용에 영향을 줄 수 있다. 전체적으로 논문은 라이트필드 압축 효율이 (1) 시점 간 상관성(베이스라인), (2) 압축 차원의 활용 정도, (3) 목표 비트레이트에 크게 좌우된다는 결론을 제시한다. 고밀도 라이트필드에서는 3D·4D 변환 기반 JPEG가 가장 효율적이며, 저밀도에서는 전통적인 2D 이미지 압축이나 최신 비디오 코덱(특히 AV1, XVC)이 더 나은 선택이 된다. 또한, 다중 초점 렌더링 기반 PSNR 평가가 라이트필드 압축 품질을 판단하는 실용적인 방법임을 입증한다.