희소 라벨 분류 성능 향상을 위한 변동성 감소 전략

초록

본 논문은 극단 분류(Extreme Classification)에서 샘플이 적은 희소 라벨이 겪는 라벨 불일치 문제를 해결하기 위해, Siamese 구조를 활용한 LEVER 모델을 제안한다. LEVER는 One‑vs‑All 분류기의 학습에 필요한 라벨 일관성을 향상시켜, 희소 라벨의 정확도를 크게 높인다. 다중 인텐트 데이터셋 두 개를 새롭게 구축하고, 여러 공개 XC 벤치마크에서 기존 방법 대비 평균 8%‑12% 이상의 성능 향상을 입증하였다.

상세 분석

LEVER는 기존 Extreme Classification에서 흔히 발생하는 ‘라벨 불일치(label inconsistency)’ 현상을 근본적으로 완화하는 설계가 돋보인다. 전통적인 One‑vs‑All 방식은 각 라벨에 대해 독립적인 이진 분류기를 학습하지만, 샘플이 극히 적은 희소 라벨은 학습 데이터의 변동성이 커서 과적합이나 일반화 실패가 빈번하다. 논문은 이러한 문제를 ‘라벨 분포 변동성(label distribution variability)’이라고 정의하고, 이를 감소시키는 것이 성능 향상의 핵심이라고 주장한다.

LEVER의 핵심은 Siamese‑style 네트워크를 도입해 라벨 간 관계를 명시적으로 학습한다는 점이다. 두 개의 인코더는 동일한 파라미터를 공유하면서, 하나는 원본 입력을, 다른 하나는 라벨 임베딩을 받아 각각의 표현을 만든다. 이후 코사인 유사도 기반의 contrastive loss를 적용해 같은 라벨을 가진 샘플 쌍은 높은 유사도를, 다른 라벨을 가진 쌍은 낮은 유사도를 갖도록 강제한다. 이렇게 하면 희소 라벨이라도 동일 라벨 간의 표현이 서로 가깝게 정렬되므로, One‑vs‑All 분류기의 결정 경계가 보다 안정적으로 형성된다.

또한 논문은 ‘라벨 전이(label transfer)’ 메커니즘을 도입한다. 다수 라벨에서 학습된 풍부한 특징을 희소 라벨에 전달하기 위해, 전체 라벨 집합에 대한 공동 임베딩 공간을 구성하고, 이 공간에서 각 라벨의 중심을 추정한다. 이후 희소 라벨의 샘플은 해당 중심에 가까운 방향으로 정규화되며, 이는 라벨 간 거리의 왜곡을 최소화한다. 결과적으로 희소 라벨에 대한 예측 확률이 과도하게 변동하는 현상이 크게 감소한다.

실험 설계는 두 가지 차원에서 강점이 있다. 첫째, 기존 XC 벤치마크(Delicious, Amazon-670K, Wiki-500K 등) 외에 저자들이 직접 구축한 ‘멀티‑인텐트’ 데이터셋을 도입해, 실제 서비스 환경에서 다중 라벨이 동시에 발생하는 상황을 재현했다. 둘째, 성능 평가 지표를 단순 정확도뿐 아니라, Macro‑F1, Precision@k, Recall@k 등 희소 라벨에 민감한 지표까지 포괄적으로 사용했다.

실험 결과는 일관되게 LEVER가 기존 SOTA 방법(Parabel, DiSMEC, XML‑C)보다 희소 라벨에 대해 평균 8%12% 높은 Macro‑F1 점수를 기록함을 보여준다. 특히 라벨 빈도가 15인 초희소 구간에서는 성능 격차가 15%에 육박한다. 이는 Siamese 구조가 라벨 간 관계를 효과적으로 학습하고, contrastive loss가 라벨 일관성을 강화함으로써 얻어진 결과로 해석된다.

한계점도 솔직히 언급한다. LEVER는 추가적인 contrastive 학습 단계와 라벨 임베딩 사전 학습이 필요해, 전체 파이프라인의 연산 비용이 기존 One‑vs‑All 대비 1.3배 정도 증가한다. 또한 라벨 수가 수백만 단위로 급증하는 경우, 라벨 임베딩 메모리 관리가 여전히 도전 과제로 남는다. 향후 연구에서는 효율적인 라벨 샘플링 전략과 메모리 압축 기법을 결합해, 대규모 환경에서도 실시간 추론이 가능한 경량화 모델을 목표로 해야 할 것이다.

요약하면, LEVER는 ‘라벨 변동성 감소’를 핵심 목표로 삼아, Siamese‑contrastive 학습과 라벨 전이 메커니즘을 결합함으로써 Extreme Classification의 희소 라벨 문제를 실질적으로 완화한다. 이 접근법은 학계뿐 아니라 산업 현장에서 다중 라벨이 빈번히 발생하는 추천, 광고, 검색 등 다양한 도메인에 적용 가능할 것으로 기대된다.