클러스터 가이드 올인원 이미지 복원 기술 ClusIR

초록

다양한 손상 유형을 하나의 모델로 복원하는 올인원 이미지 복원(AiOIR) 분야에서, 기존 방법은 손상 유형을 명시적으로 구분하지 못하고 복합 손상에 취약했습니다. 이를 해결하기 위해 본 연구는 ‘ClusIR’를 제안합니다. ClusIR는 학습 가능한 클러스터링을 통해 손상 의미를 명시적으로 모델링하고, 이 정보를 바탕으로 공간 및 주파수 영역에서 적응형 복원을 수행합니다. 핵심은 확률적 클러스터 가이드 라우팅 메커니즘(PCGRM)과 손상 인지 주파수 변조 모듈(DAFMM)로, 명시적인 손상 분리와 주파수별 정밀 조정을 가능하게 합니다. 다양한 벤치마크 실험에서 경쟁력 있는 성능을 입증했습니다.

상세 분석

본 논문이 제안하는 ClusIR 프레임워크의 기술적 혁신은 크게 두 가지 축에서 평가할 수 있습니다. 첫째, 명시적인 손상 의미학 모델링을 통한 라우팅 안정성 확보입니다. 기존 MoE(Mixture-of-Experts) 기반 AiOIR 방법들은 단일 소프트맥스 게이팅을 사용해 모든 전문가(Expert)를 평면적으로 경쟁시켰습니다. 이는 복합 손상이 단일 확률 분포로 수렴되게 만들어 의미적 혼란을 초래하고, 전문가 간 그래디언트 간섭으로 학습 불안정성을 유발했습니다. ClusIR의 PCGRM은 이 문제를 ‘손상 인지 클러스터링’과 ‘클러스터 내 전문가 선택’의 2단계 계층적 프로세스로 분해합니다. 구체적으로, 학습 가능한 클러스터 프로토타입과 특징 간 유사도를 계산해 손상 유형에 대한 사후 확률을 먼저 추정합니다. 이후 선택된 클러스터 내에서만 전문가를 활성화함으로써, 전역 경쟁을 완화하고 보다 안정적이고 해석 가능한 라우팅을 가능하게 합니다. 이는 단일 모드 분포를 다중 모드 분포로 확장하는 개념적 진전입니다.

둘째, 주파수 영역으로의 손상 모델링 확장입니다. 공간 영역의 클러스터 정보만으로는 블러(저주파 영향)나 노이즈(고주파 영향) 등 주파수 특성에 민감한 손상을 정밀하게 제어하기 어렵습니다. DAFMM은 PCGRM에서 생성된 클러스터 인지 프롬프트를 사전 정보로 활용하여 주파수별 맞춤 복원을 수행합니다. 특히 기존 DWT(이산 웨이블릿 변환)가 완전히 분리하지 못하는 저주파/고주파 성분을, 학습 가능한 Frequency Self-Mining Block(FSB)을 통해 적응적으로 추가 분해하고 정제합니다. 이를 통해 구조적 정보(저주파)와 텍스처 정보(고주파)의 협업적 향상이 가능해지며, 복원 충실도를 높입니다. 결국 ClusIR는 공간 영역의 의미론적 클러스터링과 주파수 영역의 물리적 특성을 시너지 있게 연결함으로써, 기존 AiOIR 방법의 한계를 극복하는 통합적 접근법을 제시했습니다.