다중주석 트리플렛 손실을 활용한 멀티태스크 객체 검출 향상

초록

본 논문은 기존 트리플렛 손실이 클래스 레이블만을 이용하는 한계를 극복하고, 바운딩 박스의 크기·형태와 같은 추가 주석을 손실 함수에 통합한 Multi‑Annotation Triplet Loss(MATL)를 제안한다. 항공 촬영 야생동물 이미지에 적용한 실험에서, MATL은 단일·멀티태스크 모델 모두에서 분류 정확도와 IoU를 기존 방법보다 크게 향상시켰다.

상세 분석

MATL은 전통적인 트리플렛 손실 Lₜᵣᵢₚₗₑₜ = max(d(f(a),f(p))−d(f(a),f(n))+α,0) 에서 사용되는 레이블 y 를 두 종류로 확장한다. 첫 번째는 기존의 클래스 레이블 y_class, 두 번째는 바운딩 박스의 공간적 특성을 정량화한 “박스 레이블” y_box이다. 박스 레이블은 박스 면적과 대칭성(가로·세로 비율의 최소값을 1에서 뺀 값)을 정규화한 뒤 K‑means(K=3) 로 군집화하여 얻는다. 이렇게 얻은 세 개의 박스 군집(large‑elongated, small‑elongated, small‑square)은 각 샘플에 추가적인 정성·정량 정보를 제공한다.

손실은 두 트리플렛 손실의 가중합으로 정의된다.
L_MATL = (1−λ)·L_class + λ·L_box,
여기서 λ는 박스 손실의 비중을 조절하는 하이퍼파라미터이다. 실험에서는 λ=0.25가 가장 좋은 trade‑off를 보여준다. λ가 커질수록 박스 정보가 강조돼 분류 성능이 다소 감소하지만, 로컬라이제이션 정확도는 유지되거나 약간 향상된다.

네트워크 구조는 인코더‑디코더 형태의 오토인코더와 별도의 분류기·바운딩 박스 헤드를 갖는 멀티태스크 설계이다. 인코더는 dilated convolution을 사용해 16→512 채널까지 확장하고, 디코더는 전치 합성곱과 residual 연결로 마스크를 복원한다. 학습 시 전체 이미지와 정규화된 바운딩 박스 정보를 동시에 입력받아, 인코더가 공유 잠재 공간을 학습하도록 한다. 이 잠재 공간은 클래스와 박스 레이블 모두에 의해 제약을 받아, 클래스 간 분리는 유지하면서 클래스 내부에서도 박스 형태에 따라 서브‑클러스터가 형성된다. PCA 시각화(Fig. 4)에서 이를 확인할 수 있다.

실험 데이터는 Animal Wildlife Image Repository(AWIR)에서 추출한 300×300 픽셀 타일이며, 각 타일에 단일 동물만 포함한다. 8‑fold stratified cross‑validation을 30 % 학습·70 % 테스트 비율로 수행했으며, 모든 모델을 8번씩 반복해 평균·표준편차를 보고한다. 결과는 다음과 같다.

• 단일태스크 모델: 클래스 정확도 58.2 % → 83.0 % (MATL), IoU 0.190 → 0.185 (MATL, λ=0.25)
• 멀티태스크 모델: 클래스 정확도 67.8 % → 83.2 % (MATL), IoU 0.178 → 0.179 (MATL, λ=0.25)

즉, MATL은 특히 멀티태스크 환경에서 분류와 로컬라이제이션 모두를 동시에 끌어올리는 효과가 있다. 또한, λ 조절을 통해 특정 태스크에 더 중점을 둘 수 있는 유연성을 제공한다.

한계점으로는 박스 레이블을 군집화 기반으로 정의했기 때문에, 클러스터 수와 군집화 방법에 따라 성능 변동이 있을 수 있다. 또한, 현재는 RGB 영상만 사용했으며, 저조도 상황이나 열영상 등 다른 모달리티와의 결합은 향후 연구 과제로 남는다.