왜곡 인식 전문가 기반 블라인드 이미지 품질 평가

초록

DR.Experts는 CLIP 기반 왜곡 인식 모델(DA‑CLIP)에서 얻은 왜곡 프라이어를 활용하고, 이를 왜곡‑시각 차별 모듈(DSDM)로 정제한 뒤, 동적 왜곡 가중치 모듈(DDWM)에서 전문가별 가중치를 부여해 최종 품질 점수를 예측하는 새로운 BIQA 프레임워크이다. 왜곡 프라이어를 명시적으로 도입함으로써 미세 왜곡에 대한 감도와 인간 주관 평가와의 정렬을 크게 향상시켰으며, 5개 벤치마크에서 기존 최첨단 모델을 능가한다.

상세 분석

DR.Experts는 기존 BIQA 모델이 “통합된 특징 → 품질 점수”의 단순 매핑에 머무르는 한계를 극복하기 위해 왜곡 사전지식(distortion priors)을 핵심 설계 요소로 도입한다. 구체적으로, 저레벨 비전‑언어 모델인 DA‑CLIP을 사용해 텍스트 프롬프트(예: “motion‑blur”, “low‑light”)와 이미지 특징을 동일 임베딩 공간에 매핑하고, 각 왜곡 타입별 주의(attention)를 점곱(dot‑product) 방식으로 추출한다. 이렇게 얻은 왜곡‑특이적 프라이어는 아직 시맨틱 잡음과 중복 정보를 포함하고 있기 때문에, 논문은 Distortion‑Saliency Differential Module(DSDM)을 설계해 이를 정제한다. DSDM은 왜곡 프라이어의 쿼리·키(Q_D, K_D)와 이미지 인코더(ViT)에서 추출한 시맨틱 쿼리·키(Q_S, K_S)를 각각 softmax로 정규화하고, 차별적 가중치 α를 통해 두 attention을 차감(diff‑attention)함으로써 왜곡에만 반응하는 특징을 강조한다. 이 과정은 기존 Differential Transformer에서 영감을 얻었으며, 왜곡과 시맨틱 정보 사이의 상호작용을 억제해 왜곡 신호의 순도(purity)를 높인다.

정제된 왜곡 특징들은 FFN을 통해 다중 전문가(expert) 형태의 벡터 집합으로 변환된다. 이후 Dynamic Distortion Weighting Module(DDWM)은 Mixture‑of‑Experts 구조를 차용해, (1) 정제된 왜곡 특징, (2) 원본 시맨틱 특징, (3) 두 특징의 차이(bridging feature)를 하나의 종합 표현으로 결합한다. DDWM은 각 전문가별 가중치를 동적으로 학습하며, 이는 이미지 내 특정 왜곡이 인간 지각에 미치는 영향도를 반영한다. 최종적으로, 가중합된 토큰은 품질 예측 헤드에 전달돼 점수(score token)로 변환된다.

실험에서는 LIVE‑Challenge, KonIQ‑10k, SPAQ 등 5개 데이터셋에서 SRCC·PLCC 모두 기존 CNN/ViT 기반 BIQA와 CLIP‑IQA 계열을 크게 앞섰으며, 특히 훈련 데이터 양을 10% 이하로 제한했을 때도 성능 저하가 미미해 데이터 효율성이 입증되었다. 또한, 왜곡 가중치 시각화 결과는 인간 평가자들이 특정 왜곡에 주목하는 방식과 높은 상관관계를 보이며, 모델의 해석 가능성을 제공한다. 전체적으로 DR.Experts는 왜곡 사전지식과 차별적 정제 메커니즘을 결합해, 미세 왜곡 감지와 인간 지각 정렬을 동시에 달성한 최초의 BIQA 프레임워크라 할 수 있다.