세밀한 데이터셋 증류를 위한 FD²: 미세구조 특징 강화 프레임워크

초록

FD²는 기존 디커플드 데이터셋 증류가 갖는 클래스 수준의 거친 감독만을 이용하는 한계를 극복하고, 미세구조( fine‑grained ) 데이터셋에 특화된 두 가지 제약을 도입한다. 사전 학습 단계에서 Counterfactual Attention Learning(CAL)을 활용해 클래스별 프로토타입과 주의 맵을 생성하고, 증류 단계에서는 (1) 프로토타입 정렬·분리 기반의 Fine‑grained Characteristic Constraint와 (2) 동일 클래스 내 주의 맵 다양성을 촉진하는 Similarity Constraint를 기존 손실에 플러그인한다. 실험 결과, FD²는 다양한 미세구조 및 일반 데이터셋에서 기존 디커플드 방법을 거의 그대로 유지하면서도 정확도 향상을 달성한다.

상세 분석

FD²는 미세구조 이미지 인식에서 중요한 “지역적 차별적 특징”을 효과적으로 보존·강화하기 위해 두 단계의 설계를 도입한다. 첫 번째는 사전 학습 단계에서 CAL을 이용해 이미지마다 여러 개의 주의 맵을 생성하고, 이를 기반으로 클래스별 프로토타입을 온라인으로 업데이트한다. CAL은 사실(factual) 주의와 대조(counterfactual) 주의를 비교함으로써 주의가 실제로 판별에 기여하는 정도를 정량화하고, 이 효과(prediction gain)를 손실에 포함시켜 주의가 실제 차별적 영역에 집중되도록 유도한다. 또한, 클래스 프로토타입을 정규화된 피처 평균으로 유지함으로써 각 클래스의 전반적인 표현을 압축한다.

두 번째 증류 단계에서는 기존 디커플드 DD가 사용하는 클래스 레이블 기반 손실 외에 두 가지 새로운 제약을 추가한다. 첫 번째인 Fine‑grained Characteristic Constraint는 현재 증류 샘플의 피처 z와 해당 클래스 프로토타입 c_y 사이의 정규화된 L2 거리를 최소화하고, 동시에 다른 클래스 프로토타입 c_k와의 거리를 최대화한다. β 파라미터를 통해 intra‑class compactness와 inter‑class separability 사이의 균형을 조절한다. 이는 미세구조 데이터에서 흔히 발생하는 “클래스 내부 변동이 크고 클래스 간 차이가 미세함” 문제를 직접 해결한다.

두 번째인 Similarity Constraint는 같은 클래스 내에서 이미 생성된 샘플들의 주의 맵과 현재 샘플의 주의 맵 간의 유사성을 최소화한다. 이를 통해 동일 클래스 내에서도 다양한 부위(예: 새의 머리, 날개, 꼬리 등)를 커버하도록 강제함으로써, 학생 모델이 보다 풍부한 지역적 단서를 학습하도록 만든다. 이 제약은 주의 맵 간의 코사인 거리 혹은 L2 거리 등을 이용해 구현될 수 있다.

FD²는 이러한 두 제약을 기존의 gradient‑matching 혹은 trajectory‑matching 손실에 간단히 플러그인 형태로 추가한다. 따라서 기존 디커플드 파이프라인(프리트레인 → 증류 → 소프트 라벨 생성)을 크게 변경하지 않으며, 연산량 및 메모리 오버헤드도 최소화한다. 실험에서는 CUB‑200‑2011, Stanford Cars, FGVC‑Aircraft 등 대표적인 미세구조 벤치마크와 CIFAR‑10/100 같은 일반 데이터셋에 적용했으며, 대부분의 설정에서 정확도 향상을 기록했다. 특히 미세구조 데이터셋에서는 intra‑class 분산이 크게 감소하고, inter‑class 거리(또는 SRe2L++ 대비)도 증가함을 정량적으로 보여준다.

또한, FD²는 소프트 라벨 생성 단계에서 백본(branch)만을 사용해 라벨을 생성함으로써, CAL branch와의 구조적 불일치에 의한 라벨 불안정을 방지한다. 이는 학생 모델이 기존 디커플드 방법과 동일한 아키텍처로 학습될 때, 교사 모델의 복잡도와 무관하게 안정적인 학습이 가능하도록 만든다. 전체적으로 FD²는 미세구조 데이터에 특화된 주의 기반 프로토타입 학습과 두 가지 정교한 제약을 통해, 기존 디커플드 증류의 효율성을 유지하면서도 미세구조 인식 성능을 크게 끌어올린다.