노레퍼런스 라이트필드 이미지 품질 평가를 위한 공간‑각도 측정 기법

초록

본 논문은 라이트필드 이미지의 품질을 공간적 자연스러움과 각도 일관성을 동시에 평가하는 무참조(NR) 품질 지표(NR‑LFQA)를 제안한다. 라이트필드 사이클로페인 이미지 배열(LFCIA)의 자연스러움 분포(LCN)로 공간 품질을 측정하고, 에피폴라 평면 이미지(EPI)의 그래디언트 방향 분포(GDD)와 가중 로컬 바이너리 패턴(WLBP)으로 각도 일관성 손상을 정량화한다. 네 개의 공개 데이터셋에서 기존 2D·3D·멀티뷰·라이트필드 QA 방법들을 모두 능가하는 성능을 보였다.

상세 분석

본 연구는 라이트필드(LF) 이미지가 갖는 두 가지 핵심 특성, 즉 다수의 서브앵퍼처 이미지(SAI)로 구성된 공간적 정보와 각 SAIs 간의 각도적 연속성(angular consistency)을 동시에 고려한 최초의 무참조 품질 평가 모델을 설계하였다. 공간 품질 측정에서는 인간의 양안 시각을 모사해 두 눈의 융합과 경쟁 과정을 시뮬레이션함으로써 라이트필드 사이클로페인 이미지 배열(LFCIA)을 생성한다. 이후 LFCIA 전체에 걸친 자연스러움 분포(Naturalness Distribution)를 통계적으로 모델링한 Light‑field Cyclopean image Naturalness(LCN) 지표를 도출한다. LCN은 기존 2D NR‑IQA에서 사용되는 자연 이미지 통계(NSS)를 확장한 형태로, 모든 SAI의 정보를 집합적으로 활용해 전역적인 공간 품질 저하를 민감하게 포착한다.

각도 일관성 평가에서는 라이트필드의 변환 표현인 에피폴라 평면 이미지(EPI)를 활용한다. EPI는 특정 공간 좌표를 고정하고 각도 좌표를 따라 추출한 2‑D 이미지로, 라이트 레이의 기울기(선형 구조)를 직접 드러낸다. 저자는 먼저 EPI의 그래디언트 방향 맵을 계산하고, 이 방향 맵의 히스토그램을 Gradient Direction Distribution(GDD)이라 명명하였다. GDD는 전역적인 각도 일관성 왜곡을 정량화하며, 왜곡이 발생하면 선형 구조가 파괴되어 방향 분포가 균일해지는 현상을 포착한다.

국부적인 각도 일관성 손상은 Weighted Local Binary Pattern(WLBP)으로 측정한다. 전통적인 LBP는 픽셀 주변의 8‑neighbour 관계를 이진화하지만, WLBP는 각 이웃에 가중치를 부여해 시차(디스파리티)와 텍스처 변화를 동시에 반영한다. 이를 EPI에 적용하면 서로 다른 SAIs 사이의 미세한 불일치, 예를 들어 보간 오류나 압축 아티팩트에 의해 발생하는 국부적인 기울기 변화를 효과적으로 검출한다.

특징 추출 후에는 다중선형 회귀 혹은 서포트 벡터 회귀(SVR)와 같은 학습 기반 매핑을 통해 LCN, GDD, WLBP를 종합 점수로 변환한다. 실험은 라이트필드 품질 평가에 널리 사용되는 네 개의 공개 데이터셋(WIN5‑LID, MPI‑LFA, SMART, VALID)을 대상으로 수행했으며, 각 데이터셋마다 주관적 MOS/JOD/BT 점수와의 피어슨·스피어만 상관계수, RMSE 등을 측정했다. 결과는 제안 방법이 기존 2D FR‑IQA(SSIM, MS‑SSIM 등), 3D FR‑IQA(3DSwIM 등), 멀티뷰 NR‑IQA(AR‑plus 등) 및 최근 라이트필드 전용 FR‑IQA(Fang et al.)를 모두 앞서는 성능을 보였음을 확인한다. 특히 각도 일관성 손상을 정밀하게 포착한 GDD·WLBP 조합이 압축·보간·CNN 기반 변형 모두에서 높은 예측 정확도를 유지한다는 점이 주목할 만하다.

이와 같이 본 논문은 (1) 라이트필드 전체를 하나의 사이클로페인 이미지 배열로 통합해 공간 품질을 전역적으로 평가하고, (2) EPI 기반의 전역·국부 각도 일관성 지표를 도입해 기존 방법이 놓치기 쉬운 각도 왜곡을 정량화함으로써, 라이트필드 전용 무참조 품질 평가 분야에 새로운 패러다임을 제시한다.