희귀 노드 탐지를 위한 가중 손실 함수 설계

초록

본 논문은 계층적 다중 라벨 분류(HML)에서 하위(희귀) 노드의 예측을 향상시키기 위해, 노드 빈도 기반 불균형 가중치와 최신 앙상블 불확실성 측정을 결합한 가중 손실 함수를 제안한다. 실험 결과, 리콜이 최대 5배, F1 점수가 통계적으로 유의하게 개선되었으며, 제한된 데이터나 서브옵티멀 인코더 환경에서도 효과를 보였다.

상세 분석

계층적 다중 라벨 학습(HML)은 부모‑자식 관계가 DAG 형태로 정의된 라벨 트리 위에서 각 샘플에 다중 라벨을 할당하는 문제이다. 기존 접근법은 주로 샘플 기반 재샘플링이나 비용 민감 학습을 적용했지만, 계층 구조 특성상 부모 라벨은 빈도가 높고 자식 라벨은 자연스럽게 희귀해지는 장기적 불균형을 완화하지 못한다. 저자들은 이러한 구조적 불균형을 “노드 기반” 시각으로 전환하여, 각 노드의 등장 빈도 f 에 역비례하는 가중치 wᵢ 를 정의하고, 최소 가중치 \tilde w₀ 를 도입해 과도한 가중치 폭발을 억제한다. 특히, 양성 라벨에만 가중치를 적용하고 음성 라벨은 기본 가중치 1 을 유지함으로써, 흔한 라벨이 학습에 과도히 기여하는 현상을 방지한다.

불균형 가중치와 더불어, 저자들은 “포컬(Focal) 가중치” 개념을 HML에 확장한다. 포컬 손실은 원래 객체 검출·세그멘테이션에서 모델이 자신감이 높은(즉, 손실이 작은) 샘플을 무시하고 어려운 샘플에 집중하도록 설계되었다. 여기서는 모델의 예측 확률 대신, 앙상블 모델 Θ 의 불확실성 U 를 활용한다. 불확실성은 베이지안 모델 평균(BMA) 기반의 확률 μ, 분산 σ² 을 이용해 여러 변형을 제시한다. 첫 번째는 bBMA (이진 베이지안 모델 평균)로, μ_max 을 0.5 이상의 값으로 정규화한 뒤 1‑μ_max 을 불확실성으로 정의한다. 두 번째는 GMU (게이티드 마진 불확실성)로, μ와 두 번째 큰 확률 μ_max(2) 의 차이를 신호‑대‑잡음 비율(SNR)로 변환하고, 이를 다시 μ_max 에 가중해 최종 불확실성을 산출한다. 세 번째와 네 번째는 에피스테믹(모델) 불확실성을 KL·JS 발산을 이용해 직접 측정하는 방식이다.

최종 손실은 다음과 같이 구성된다.
L = L_MC + ∑_z