텐서 기반 무참조 라이트필드 이미지 품질 평가

초록

본 논문은 라이트필드 이미지(LFI)의 고차원 특성을 텐서 이론으로 모델링하여, 무참조 품질 평가기인 Tensor‑NLFQ를 제안한다. 4차원 텐서를 저‑랭크 가정하고 Tucker 분해를 통해 네 방향(수평·수직·대각선)의 뷰 스택에서 주요 성분을 추출한다. 추출된 첫 번째 주성분을 이용해 공간 품질을 측정하는 PCSC와, 각 뷰와의 구조적 유사성 분포를 분석해 각도 일관성을 평가하는 TAVI를 결합한다. CIELAB 색공간 변환으로 색채 정보를 포함하고, 다중 데이터베이스 실험에서 기존 2D·3D·멀티뷰·LFI 평가 방법들을 능가한다.

상세 분석

Tensor‑NLFQ는 라이트필드 이미지의 4차원 구조를 “저‑랭크 텐서”라고 가정하고, Tucker 분해를 적용해 각 방향별 뷰 스택의 차원을 축소한다. 이때 얻어지는 첫 번째 코어 텐서는 해당 방향에서 가장 큰 에너지를 담고 있어, 원본 LFI의 핵심 공간‑각도 정보를 압축적으로 표현한다. 공간 품질 측정 모듈인 PCSC는 두 가지 서브모듈로 구성된다. 첫 번째는 전역 자연스러움(Naturalness) 특성을 색채 채널(L*, a*, b*)별로 추출하여 전체 왜곡 수준을 정량화한다. 여기서는 MSCN(Mean Subtracted Contrast Normalized) 계수를 이용해 통계적 자연 이미지 모델과의 차이를 측정한다. 두 번째는 로컬 주파수 특성을 반영하기 위해 Gabor 혹은 DCT 기반의 주파수 분포를 분석하고, 고주파 손실이나 블러 현상을 감지한다. 이러한 이중 접근은 기존 무참조 IQA가 주로 밝기 정보에만 의존하는 한계를 극복한다.

각도 일관성 평가인 TAVI는 첫 번째 주성분 이미지와 각 뷰 사이의 구조적 유사성(SIMilarity) 분포를 SSIM 기반으로 계산한다. 네 방향(0°, 45°, 90°, 135°) 각각에 대해 유사성 히스토그램을 구축하고, 히스토그램의 평균·분산을 통계량으로 사용한다. 이 과정에서 색채 차이(a*, b*)가 큰 경우에도 유사성 감소가 크게 나타나, 색채 불일치가 각도 일관성에 미치는 영향을 정량화한다. 최종 품질 점수는 PCSC와 TAVI를 선형 혹은 비선형 회귀(예: SVR) 모델에 입력해 학습된 가중치를 적용해 예측한다.

실험에서는 Win5‑LID, EPFL‑Lytro, HCI‑LF 등 네 개의 공개 LFI 품질 데이터베이스를 활용했으며, Pearson, Spearman, RMSE 등 표준 메트릭에서 기존 2D FR/NR, 3D FR/NR, 멀티뷰 FR/NR, 그리고 최신 LFI 전용 모델(LF‑IQM, BELIF 등)을 모두 앞섰다. 특히 색채 차이가 큰 경우와 복합 압축·재구성 아티팩트가 존재할 때 Tensor‑NLFQ의 성능 향상이 두드러졌다.

이 논문의 주요 기여는 (1) LFI를 저‑랭크 4D 텐서로 모델링하고 Tucker 분해를 통해 효율적인 차원 축소와 주요 성분 추출을 수행한 점, (2) 색채 정보를 포함한 전역·국부 공간 품질 특성을 동시에 고려한 PCSC 설계, (3) 네 방향 모두에서 각도 일관성을 정량화한 TAVI 제안, (4) 광범위한 데이터베이스와 비교 실험을 통해 무참조 LFI 품질 평가 분야에서 새로운 기준을 제시한 점이다. 향후 연구에서는 실시간 적용을 위한 경량화, 깊이 정보와 결합한 하이브리드 모델, 그리고 VR/AR 스트리밍 환경에서의 적응형 품질 제어 등에 확장 가능성이 있다.