클러스터 어텐션으로 보는 투명한 비전 네트워크

초록

**
CLUENet은 전역‑소프트 어그리게이션과 하드 어사인먼트를 결합한 새로운 클러스터 어텐션 메커니즘을 제안한다. 온‑디스크리트 클러스터링을 전역적으로 수행하면서 온‑디스크리트 하드 디스패치를 공유해 연산 효율성을 높이고, 온‑디스크리트 게이트형 융합으로 로컬 정보를 보강한다. CIFAR‑100(76.55 %)·Mini‑ImageNet(82.44 %)에서 기존 클러스터 기반 모델과 최신 CNN/ViT 대비 우수한 정확도와 해석 가능성을 동시에 달성한다.

**

상세 분석

**
본 논문은 기존 비전 모델이 갖는 “고정된 수용 영역”과 “복잡한 블랙박스 구조”라는 두 가지 근본적 한계를 클러스터링 패러다임을 통해 극복하고자 한다. 핵심 기여는 크게 세 부분으로 나뉜다. 첫째, Global Soft Feature Aggregation (GSFA) 은 클러스터 중심을 전체 픽셀에 대해 코사인 유사도와 학습 가능한 온도 파라미터 τ를 사용해 소프트 어텐션을 수행한다. 이는 기존 EM‑기반 클러스터링이 윈도우 내부에서만 유사도를 계산하던 제약을 넘어 전역적인 장거리 의존성을 모델링한다는 점에서 의미가 크다. 또한, Gated Fusion Mechanism 은 로컬 그리드 중심과 전역 소프트 클러스터 중심을 시그모이드 게이트를 통해 가중합함으로써, 전역 어그리게이션이 과도하게 평균화되는 현상을 방지하고 로컬 디테일을 보존한다.

둘째, Hard and Shared Feature Dispatching (HSFD) 은 소프트 어텐션으로 얻은 클러스터 중심을 기반으로 하드 어사인먼트를 수행한다. 여기서 “하드”는 픽셀‑클러스터 매핑을 1‑Hot 형태로 고정해 해석성을 높이며, “공유”는 동일 스테이지 내 여러 블록이 동일 어사인먼트 매트릭스를 재사용하도록 설계해 메모리와 연산량을 크게 절감한다. 이 설계는 특히 고해상도 이미지에서 클러스터 수가 급증할 경우 발생하는 비용 폭증을 완화한다.

셋째, Improved Cluster Pooling (ICP) 은 기존 클러스터 풀링이 값 공간에서 직접 평균을 취해 발생하는 그래디언트 소실 문제를 해결한다. 논문은 픽셀 특징을 먼저 유사도 공간으로 매핑한 뒤, 클러스터링·풀링을 수행하고, 마지막에 퍼셉트론을 통해 다시 값 공간으로 복원한다. 이 과정은 역전파 시 유사도‑값 변환 단계에서 충분한 기울기를 제공해 학습 안정성을 크게 향상시킨다.

실험 결과는 CIFAR‑100과 Mini‑ImageNet 두 데이터셋에서 기존 클러스터 기반 모델(예: CoC, FEC, ClusterFormer)보다 24%p 높은 Top‑1 정확도를 기록한다. 파라미터 수(5M15M)와 FLOPs 면에서도 경쟁 모델과 동등하거나 더 효율적이며, 시각화된 클러스터 맵은 인간이 직관적으로 이해할 수 있는 의미론적 구획을 제공한다.

하지만 몇 가지 한계도 존재한다. 첫째, 현재 구현은 2‑D 이미지에 국한돼 있어 3‑D 포인트 클라우드나 비디오 시퀀스에 대한 확장성이 검증되지 않았다. 둘째, 온도 파라미터 τ와 게이트 네트워크가 학습 초기에 불안정할 수 있어, 하이퍼파라미터 튜닝이 필요하다. 셋째, 전역 소프트 어그리게이션은 메모리 사용량이 O(H·W·m)으로, 매우 큰 이미지(예: 4K)에서는 추가적인 메모리 최적화가 요구된다.

향후 연구 방향으로는 (1) 다중 스케일 클러스터링을 도입해 다양한 해상도에서 동시에 의미론적 구획을 학습하고, (2) 비디오 프레임 간 클러스터 일관성을 유지하는 시계열 클러스터 어텐션을 설계하며, (3) 하드 어사인먼트와 소프트 어텐션을 교차 학습하는 혼합 손실 함수를 도입해 정확도와 해석성 사이의 트레이드오프를 더욱 최적화하는 방안을 제시한다. 전반적으로 CLUENet은 클러스터링 기반 비전 모델의 성능·효율·투명성 3박자를 맞춘 중요한 진전이라 평가할 수 있다.

**