노이즈 최적화로 확산 분류기의 성능을 높이다

초록

확산 모델을 활용한 이미지 분류기(Diffusion Classifier)는 무작위 노이즈 샘플링에 따른 성능 불안정성 문제를 가집니다. 본 연구는 이 문제를 해결하기 위해 ‘좋은 노이즈’가 만족해야 할 ‘주파수 매칭’과 ‘공간 매칭’ 두 원칙을 제시하고, 이를 바탕으로 데이터셋 특화 노이즈와 이미지별 노이즈 오프셋을 학습하는 NoOp 방법을 제안합니다. 이를 통해 단일 노이즈 샘플만으로도 안정적이고 높은 분류 성능을 달성할 수 있습니다.

상세 분석

본 논문은 확산 모델 기반 분류기(DC)의 근본적인 약점인 ‘노이즈 불안정성’을 해결하는 새로운 패러다임을 제시합니다. 핵심 기여는 단순한 공학적 해법이 아닌, 노이즈가 분류 과정에서 수행해야 할 이론적 역할에 대한 깊은 분석에서 출발합니다. 저자들은 노이즈가 원본 이미지의 ‘카테고리 관련 신호’를 의도적으로 파괴함으로써, 서로 다른 카테고리 조건 하의 복원 효과 차이를 극대화해야 한다는 통찰을 도출했습니다.

이를 구체화한 것이 ‘주파수 매칭’과 ‘공간 매칭’ 원칙입니다. 주파수 매칭 원칙은 데이터셋 수준의 특성을 반영합니다. 예를 들어, STL-10 데이터셋의 ‘자동차’와 ‘비행기’는 형태와 구조(저주파 신호)로 구분되는 반면, DTD 데이터셋의 ‘줄무늬’와 ‘점무늬’는 텍스처(고주파 신호)로 구분됩니다. 따라서 좋은 노이즈는 해당 데이터셋에서 카테고리 판별에 핵심이 되는 주파수 대역의 신호를 효과적으로 손상시켜야 합니다. NoOp은 이 원칙을 구현하기 위해 전체 학습 데이터셋에 대해 공유되는 하나의 파라미터화된 노이즈를 직접 최적화합니다. 이 노이즈는 데이터셋의 주파수 특성 분포를 학습하게 됩니다.

공간 매칭 원칙은 개별 이미지 수준의 특성을 반영합니다. 한 이미지 내에서도 카테고리 관련성은 픽셀마다 다릅니다(예: 전경 객체 vs 배경). 따라서 좋은 노이즈는 이미지별로 중요한 공간 영역(예: 객체 경계, 질감이 있는 부분)에 선택적으로 더 큰 손상을 가해야 합니다. NoOp은 이 원칙을 구현하기 위해 경량 U-Net 구조의 메타 네트워크를 도입합니다. 이 네트워크는 원본 이미지를 입력받아, 데이터셋 공통 노이즈를 해당 이미지에 맞게 공간적으로 조정하는 ‘노이즈 오프셋’을 출력합니다.

이 두 가지 최적화된 노이즈 구성 요소(데이터셋 공통 노이즈 + 이미지별 오프셋)의 합은 기존의 무작위 가우시안 노이즈를 대체합니다. 학습 목적함수는 분류 교차 엔트로피 손실을 직접 사용하지만, 한 가지 중요한 기술적 개선이 적용되었습니다. 노이즈 예측 간 거리 차이가 미미하여 그래디언트가 약해지는 문제를 해결하기 위해, 카테고리 로짓에 Z-Score 정규화를 적용해 신호 차이를 효과적으로 증폭시켰습니다. 이 방법론은 기존의 프롬프트 최적화 기법과 직교적이므로 결합 시 시너지 효과를 기대할 수 있으며, 계산 효율성과 성능 안정성 모두에서 기존 앙상블 방식 대비 우수성을 입증했습니다.