다양성 vs 효율성: 메트릭 학습 손실의 변동과 탐욕성 비교 연구

초록

본 논문은 메트릭 학습에서 사용되는 7가지 손실 함수를 VARIANCE(클래스 내·외 분산)와 GREEDINESS(활성 비율·그래디언트 크기) 두 축으로 진단한다. 실험 결과, Triplet과 SCL은 클래스 내 다양성을 유지하면서 명확한 클래스 간 마진을 형성해 미세분류에서 우수한 성능을 보이며, Contrastive·InfoNCE는 빠른 수렴과 높은 압축 효율을 제공하지만 클래스 구조를 과도하게 단순화한다는 점을 밝혀냈다.

상세 분석

본 연구는 메트릭 학습 손실을 평가하기 위해 두 가지 새로운 진단 지표인 VARIANCE와 GREEDINESS를 제안한다. VARIANCE는 클래스 내 분산(σ²_intra)과 클래스 간 분산(σ²_inter)을 각각 평균 거리와 분산 형태로 정량화하여 임베딩 공간의 기하학적 ‘다양성’과 ‘구분도’를 측정한다. 이때 σ²_intra가 클수록 같은 클래스 내 샘플이 넓게 퍼져 있음을 의미하고, σ²_inter가 클수록 클래스 중심 간 거리가 크게 벌어져 있음을 나타낸다. GREEDINESS는 학습 과정에서 얼마나 많은 샘플이 활성화(active)되어 손실에 기여하는지를 활성 비율(active ratio)로, 그리고 전체 파라미터 그래디언트의 L2 노름으로 정의한다. 높은 활성 비율과 낮은 그래디언트 노름은 많은 샘플이 작은 업데이트를 수행한다는 의미이며, 이는 ‘탐욕적(greedy)’ 학습이라 부른다. 반대로 낮은 활성 비율과 높은 그래디언트 노름은 소수의 어려운 샘플에 집중적인 업데이트가 이루어지는 ‘비탐욕적(non‑greedy)’ 특성을 나타낸다.

실험에서는 CIFAR‑10, Cars196, CUB‑200, Tiny‑ImageNet, FashionMNIST 등 5개의 데이터셋에 대해 7가지 손실(Contrastive, Triplet, N‑pair, InfoNCE, ArcFace, Supervised Contrastive Learning(SCL), Center Contrastive Loss(CCL))을 동일한 ViT‑B/32 백본과 128‑차원 임베딩으로 학습하였다. 결과는 다음과 같다.

1. Triplet & SCL: σ²_intra가 가장 크게 측정돼 클래스 내 다양성이 유지된다. 동시에 σ²_inter도 충분히 커서 클래스 간 마진이 명확히 형성된다. 활성 비율은 약 38% 수준으로 낮지만, 그래디언트 노름은 0.27 정도로 비교적 높아 어려운 샘플에 집중한다. 이러한 특성은 미세분류(Cars196, CUB‑200)에서 R@1이 다른 손실보다 우수한 원인으로 작용한다.

2. Contrastive & InfoNCE: σ²_intra가 가장 작아 클래스가 빠르게 압축된다. 활성 비율은 60~65%로 높으며 그래디언트 노름은 0.12 수준으로 작아 ‘많은 샘플이 작은 업데이트’를 수행한다. 이는 CIFAR‑10·FashionMNIST 같은 거친 분류에서는 빠른 수렴과 높은 R@1을 제공하지만, 미세한 차이를 구분해야 하는 데이터에서는 성능이 제한된다.

3. N‑pair: σ²_inter 평균이 크게 나타나지만 σ²_inter 분산이 크게 변동한다(특히 Tiny‑ImageNet에서 불균형). 이는 클래스 중심 간 거리는 멀지만 균등하게 배치되지 않아 최근접 이웃 검색 시 불안정성을 초래한다.

4. ArcFace & CCL: σ²_intra가 거의 0에 가깝게 측정돼 ‘클래스 내 붕괴’를 보인다. 이는 각 손실이 각도 기반 마진을 사용하면서 코사인 거리와 스케일이 맞지 않아 발생한 현상으로, 실제 성능은 전반적으로 낮다(R@1이 대부분 손실보다 뒤처진다).

전체적으로 ‘효율성‑다양성 트레이드오프’를 확인할 수 있다. 탐욕적인 손실은 빠른 클러스터 압축과 높은 초기 성능을 제공하지만, 클래스 내 세부 구조를 손상시켜 미세분류에 취약하다. 반면 비탐욕적인 손실은 학습 속도는 느리지만, 어려운 샘플에 집중해 클래스 내 다양성을 보존하고, 결국 미세분류에서 더 높은 정밀도를 달성한다. 이러한 인사이트는 손실 선택 시 작업의 요구사항(빠른 수렴 vs 세밀한 구분)과 데이터의 granularity를 고려해야 함을 강조한다.