균형 그룹 소프트맥스와 메트릭 학습으로 장기 꼬리 객체 탐지 성능 향상

초록

본 논문은 LVIS v1 데이터셋을 대상으로 두 단계 Faster RCNN에 Balanced Group Softmax(BAGS)를 개선하고, 메트릭 학습을 결합해 장기 꼬리 분포 문제를 해결한다. bin 구조를 클러스터링 기반으로 재설계하고, 클래스 가중치·Focal Loss를 적용해 bin 내부 불균형을 완화한다. 또한 Center Loss·CosFace·유클리드 교차 엔트로피를 도입해 특징 임베딩을 조밀·분리시키고, k‑NN 기반 추론으로 희소 클래스의 AP를 끌어올린다. 최종 mAP 24.5 %를 달성해 기존 24.0 %를 넘어선다.

상세 분석

이 연구는 장기 꼬리 객체 탐지에서 가장 큰 병목인 클래스 불균형을 두 차원에서 공략한다. 첫 번째 차원은 기존 BAGS(Balanced Group Softmax)의 “그룹” 개념을 재정의함으로써 이루어진다. 원 논문에서는 4개의 고정된 빈(0‑10, 10‑100, 100‑1 000, 1 000‑10 000)만을 사용했지만, 실제 LVIS 데이터에서는 동일 빈 안에서도 수천 배 차이의 인스턴스 수가 존재한다. 저자는 빈을 단순히 수치적 임계값이 아닌, 인스턴스 빈도 기반 클러스터링으로 재구성하였다. 구체적으로 0‑22, 23‑90, 91‑1 000, 1 001‑18 050, 18 051+ 로 5개의 클러스터를 만든 뒤, 각 클러스터 내부에서 “Others” 클래스를 추가해 과도한 경쟁을 방지한다.

두 번째 차원은 빈 내부의 미세 불균형을 완화하기 위한 여러 보조 기법이다. (1) 클래스 가중치 적용: 각 클래스에 역빈도 비례 가중치를 부여하고, 빈 내에서 정규화·스케일링해 전체 손실 기여도를 유지한다. (2) Focal Loss 도입: γ 파라미터를 통해 어려운 샘플, 즉 희소 클래스에 더 큰 그래디언트를 할당한다. (3) 빈 수 조정: 8빈으로 확장했으나 샘플 부족 문제로 성능 저하가 발생, 따라서 가장 큰 빈(100‑1 000)을 두 개의 서브빈(100‑500, 500‑1 000)으로 세분화해 균형을 맞췄다.

이와 별도로, 저자는 특징 임베딩 자체가 장기 꼬리 문제에 기여한다는 가설을 검증한다. 기존 Faster RCNN의 분류 헤드는 회귀식으로 클래스 간 경계를 학습하므로, tail 클래스는 head 클래스의 고밀도 특징 공간에 압축돼 구분이 어려워진다. 이를 해결하기 위해 메트릭 학습을 도입했으며, 세 가지 손실을 결합했다. (a) Center Loss는 각 클래스 중심을 학습해 intra‑class 거리 최소화, (b) CosFace(코사인 마진) 손실은 클래스 간 각도 마진을 확보해 inter‑class 분리를 강화, (c) 유클리드 교차 엔트로피는 전통적인 소프트맥스와 달리 임베딩 거리 자체를 최소화한다. 이러한 손실은 백본 네트워크와 ROI 헤드에 동시에 적용돼, 특징 추출 단계부터 클래스 구분력을 높인다.

추론 단계에서는 전통적인 소프트맥스 대신 k‑Nearest Neighbors(k‑NN) 분류기를 사용한다. 학습된 임베딩 공간에서 k=5(또는 10) 이웃을 찾아 다수표결로 라벨을 결정함으로써, 특히 tail 클래스에서 소수 샘플에 대한 안정적인 예측이 가능해졌다. 실험 결과, k‑NN을 적용했을 때 tail AP가 평균 2~3% 상승했으며, 전체 mAP는 24.5%에 도달해 기존 BAGS 기반 24.0%를 능가했다.

전체적으로, 이 논문은 (1) 그룹화 전략의 정교화, (2) 빈 내부 불균형 완화, (3) 메트릭 학습 기반 임베딩 강화, (4) k‑NN 추론이라는 네 가지 축을 통해 장기 꼬리 객체 탐지의 성능 한계를 체계적으로 돌파했다. 특히, 메트릭 학습과 전통적인 소프트맥스 기반 분류기의 조합이 희소 클래스에 대한 일반화 능력을 크게 향상시켰다는 점이 주목할 만하다.