극값 등고선: 컴팩트 시각 귀속을 위한 그래디언트 주도 등고선

초록

본 연구는 시각 모델의 해석을 위해 조밀한 마스크 대신 매끄러운 등고선을 사용하는 새로운 방법을 제안합니다. 푸리에 급수로 매개변수화된 단일 연결 영역을 그래디언트 기반으로 최적화하여, 파편화 없이 컴팩트하고 해석 가능한 시각적 설명을 생성합니다.

상세 분석

이 논문이 제안하는 ‘Extremal Contours’ 방법의 핵심 기술적 혁신은 해석 마스크의 표현 방식을 근본적으로 재정의한 데 있습니다. 기존의 perturbation 기반 방법(예: Extremal Perturbations)이 각 픽셀을 독립적으로 최적화하는 고차원의 조밀한 마스크를 생성하는 반면, 본 방법은 ‘star-convex’ 형태의 단일 연결 영역을 저차원의 푸리에 계수로 매개변수화합니다. 이는 마스크의 자유도를 수백에서 수천 배 가량 줄이는 동시에, 최적화 과정에서 영역의 위상적 일관성(단일 연결성)과 경계의 매끄러움을 보장합니다.

최적화 목표는 ‘보존/삭제’ 극값 원리에 기반합니다. 학습된 등고선 내부 영역을 보존하고 외부를 블러 처리한 변형 이미지와 그 반대의 변형 이미지를 생성하여, 모델의 임베딩 공간에서 원본 임베딩과의 유사도를 극대화/극소화합니다. 여기에 명시적인 면적 제어 항과 푸리에 계수의 고주파 성분을 억제하는 스펙트럼 정규화 항을 추가하여, 해석의 충실도(Faithfulness)와 간결성(Compactness) 사이의 균형을 달성합니다.

주요 통찰은 다음과 같습니다: 1) 저차원 매개변수화는 최적화를 안정화하고 적대적 마스킹 아티팩트에 강인하게 만듭니다. 2) 단일 연결 영역이라는 강한 제약은 해석의 인간 친화적 가독성을 크게 향상시킵니다. 3) 명시적인 면적 제어를 통해 ‘충실도-면적’ 프로파일을 투명하게 분석할 수 있으며, 이는 고정 면적 설명이나 중요도 등고선 맵 생성으로 확장됩니다. 4) 특히 DINO와 같은 자기지도 학습 모델에서 기존 방법 대비 월등한 성능(관련성 질량 15% 이상 향상)을 보여, 이 방법이 모델 내부 표현의 본질적인 구조를 더 잘 포착함을 시사합니다.