라벨 효율적인 이미지 품질 평가를 위한 인식·보정 분리 프레임워크

초록

본 논문은 대규모 멀티모달 언어 모델(MLLM)의 이미지 품질 인식 능력은 뛰어나지만 MOS 스케일 보정이 부족함을 지적한다. 이를 해결하기 위해 MLLM을 교사로 활용해 점별 판단과 쌍별 선호(신뢰도 포함)를 제공하고, 경량 학생 회귀 모델이 이를 공동 증류하도록 설계한다. 마지막에 소량의 인간 MOS 데이터만으로 학생 모델을 보정함으로써 라벨 비용을 크게 절감하면서도 MOS 정렬 성능을 유지한다.

상세 분석

LEAF는 이미지 품질 평가(IQA)에서 “인식(perception)”과 “보정(calibration)”을 명확히 분리한다는 핵심 아이디어를 기반으로 한다. 기존 MLLM 기반 IQA 방법은 대규모 파라미터와 고비용 연산을 요구할 뿐 아니라, MOS 스케일에 맞추는 과정에서 큰 편향을 보인다. 저자는 MLLM이 이미지의 전반적인 품질을 비교·분류하는 데는 강력하지만, 데이터셋별 MOS 평균값에 정확히 매핑하는 능력은 부족하다는 점을 실험적으로 확인한다(예: AGIQA‑3K에서 SRCC는 높지만 PLCC와 평균 잔차가 크게 나타남).

교사‑학생 구조는 두 단계로 이루어진다. 1) 교사‑유도 증류(Teacher‑Guided Distillation, TGD) 단계에서, MLLM은 (i) 점별 판단을 위해 5단계 품질 토큰(Excellent~Bad)의 로그우도(log‑likelihood)를 추출하고, 이를 확률분포로 정규화해 연속 점수 ˆy_T(x)를 계산한다. (ii) 무작위 이미지 쌍을 샘플링해 “A가 B보다 좋다”는 이진 선호와 해당 결정의 엔트로피 기반 신뢰도 ω_ab를 산출한다. 저자는 신뢰도가 낮은 쌍(ω_ab < τ)을 필터링함으로써 노이즈를 억제한다.

학생 모델은 경량 회귀 네트워크(s_θ)로, 점별 L1 손실(L_reg)과 가중 이진 교차 엔트로피 손실(L_rank)을 λ_dis 비율로 결합한 총 손실 L_dis을 최소화한다. 여기서 L_rank은 σ(s_θ(x_a)‑s_θ(x_b))와 교사의 하드 선호 t_ab 사이의 차이를 신뢰도 ω_ab로 가중한다. 이 방식은 학생이 교사의 순위 구조와 절대 점수 분포를 동시에 학습하도록 만든다.

2. 보정 미세조정(Calibration Fine‑Tuning) 단계에서는, 전체 데이터 중 극히 일부(M ≪ N)만 인간 MOS 라벨이 부여된 D_MOS를 사용한다. 학생 모델은 회귀 손실과 함께 Pearson Linear Correlation Coefficient(PLCC) 기반 상관 손실을 추가해 MOS 스케일에 정밀히 맞춘다. 결과적으로, 전체 파라미터는 경량이면서도 MOS와 높은 일치도를 보인다.

실험에서는 UGC(KonIQ‑10k, LIVE‑FB)와 AI‑Generated(IQA‑3K, AGIQA‑3K) 벤치마크 모두에서, 전체 MOS 라벨의 10% 이하만 사용해도 기존 MLLM 기반 방법과 동등하거나 상회하는 SRCC/PLCC를 달성한다. 특히, 연산 비용 측면에서 MLLM 전체를 추론하는 경우 대비 5~10배 가량의 FLOPs 절감 효과가 확인되었다.

이 논문의 주요 기여는 (1) 인식과 보정을 분리함으로써 라벨 효율성을 극대화한 프레임워크 제시, (2) 점별·쌍별 교사 신호를 결합한 새로운 증류 손실 설계, (3) 소량의 MOS 라벨만으로도 고성능 경량 IQA 모델을 구현한다는 실증적 증거 제공이다. 향후 연구에서는 교사 모델을 더욱 다양한 멀티모달 프리트레인 모델로 교체하거나, 자동화된 신뢰도 추정 방식을 개선해 라벨 비용을 거의 0에 가깝게 낮출 가능성을 탐색할 수 있다.