잠재 변수 불확실성 모델링을 통한 손실 기반 학습

초록

본 논문은 약한 지도 학습에서 입력과 부분적으로만 주어진 라벨(출력) 사이에 존재하는 잠재 변수를 확률적으로 모델링한다. 기존 방법이 하나의 분포에 불확실성 추정과 예측 두 역할을 동시에 부여하던 것과 달리, 저자는 (1) 입력‑출력 쌍에 대한 잠재 변수의 불확실성을 포착하는 조건부 분포와 (2) 입력만으로 최종 출력과 잠재 변수를 결정하는 델타 분포, 두 개의 분포를 도입한다. 학습 단계에서는 두 분포 간의 일치를 손실 기반 이질성 계수를 최소화함으로써 강제한다. 이 접근법은 기존 잠재 SVM을 일반화하여, 잠재 변수에 대한 불확실성을 명시적으로 다루고, 손실 함수가 잠재 변수에 의존하도록 허용한다. 객체 검출과 행동 검출 실험을 통해 성능 향상을 입증한다.

상세 분석

이 논문은 약한 지도(weakly supervised) 학습 상황에서 “출력”이 완전하게 주어지지 않을 때, 즉 라벨이 부분적으로만 제공될 때 발생하는 잠재 변수(latent variable) 문제를 다룬다. 전통적인 잠재 SVM(Latent SVM)에서는 학습 과정에서 잠재 변수를 단일점(point estimate)으로 추정하고, 테스트 시에도 동일한 추정값을 사용한다. 이러한 접근은 두 가지 근본적인 한계를 가진다. 첫째, 학습 단계에서 잠재 변수의 불확실성을 전혀 반영하지 못한다는 점이다. 둘째, 손실 함수가 잠재 변수에 직접 의존하는 경우, 점추정 기반 모델은 손실을 정확히 계산할 수 없어 최적화가 비효율적이다.

저자들은 이러한 문제를 해결하기 위해 두 개의 확률 분포를 도입한다. (i) **조건부 분포 P(z|x,y)**는 주어진 입력 x와 부분 라벨 y(출력) 사이에서 잠재 변수 z의 불확실성을 모델링한다. 이는 학습 단계에서만 사용되며, 실제 라벨이 불완전할 때 가능한 z 들의 분포를 추정한다. (ii) **델타 분포 δ(ẑ, ŷ|x)**는 입력 x만을 기반으로 최종 예측값 ŷ와 잠재 변수 ẑ을 결정한다. 즉, 테스트 시에 사용되는 결정론적 예측 모델이다.

학습 목표는 두 분포가 서로 “동의”하도록 만드는 것이다. 이를 위해 저자들은 **손실 기반 이질성 계수(loss‑based dissimilarity coefficient)**를 정의한다. 구체적으로, 주어진 손실 Δ(y, ŷ, z, ẑ) (출력과 잠재 변수 모두를 포함)와 두 분포 사이의 KL‑divergence 혹은 Jensen‑Shannon divergence와 유사한 형태의 거리 함수를 결합한다. 최적화는 교번(EM‑like) 방식으로 진행되는데, 먼저 현재 δ‑분포를 고정하고 P‑분포를 업데이트해 잠재 변수의 사후 분포를 추정한다. 그 다음, 업데이트된 P‑분포를 이용해 δ‑분포의 파라미터를 손실을 최소화하도록 조정한다. 이 과정은 잠재 변수에 대한 불확실성을 유지하면서도 최종 예측 정확도를 높이는 방향으로 수렴한다.

핵심 기여는 다음과 같다. 첫째, 잠재 변수의 불확실성을 명시적으로 모델링함으로써, 학습 단계에서 다양한 가능한 z 들을 고려한다. 이는 특히 라벨이 불완전하거나 노이즈가 있는 경우에 강인성을 제공한다. 둘째, 손실 함수가 잠재 변수에 직접 의존하도록 허용함으로써, 기존 잠재 SVM이 제한적이던 손실 설계 자유도를 크게 확대한다. 예를 들어, 객체 검출에서는 IoU(Intersection‑over‑Union)와 같은 공간적 손실이 잠재 박스 위치에 의존하는데, 이 손실을 그대로 최적화에 포함시킬 수 있다. 셋째, 두 분포 간의 일치 강제라는 새로운 학습 프레임워크를 제시함으로써, 추정된 잠재 변수 분포와 최종 결정 모델 사이의 불일치를 최소화한다.

실험에서는 두 가지 도메인, 즉 **객체 검출(object detection)**과 **행동 검출(action detection)**에 적용하였다. 객체 검출에서는 PASCAL VOC와 MS‑COCO와 같은 공개 데이터셋에서 약한 라벨(이미지‑레벨 태그)만을 사용했음에도 불구하고, 기존 잠재 SVM이나 MIL‑based 방법보다 평균 평균정밀도(mAP)에서 유의미한 개선을 보였다. 행동 검출에서는 UCF‑101과 같은 비디오 데이터에서 프레임‑레벨 라벨만을 이용해 시퀀스 내 행동 구간을 추정했으며, 시간적 IoU 기반 손실을 직접 최적화함으로써 정확도와 재현율 모두에서 향상을 입증했다.

이 논문은 잠재 변수 불확실성 모델링과 손실 기반 학습을 결합한 새로운 패러다임을 제시함으로써, 약한 지도 학습에서 라벨 부족 문제를 효과적으로 완화한다는 점에서 학계와 산업계 모두에 큰 시사점을 제공한다. 향후 연구에서는 더 복잡한 구조적 잠재 변수(예: 그래프, 트리)나, 비지도 사전학습과 결합한 하이브리드 프레임워크로 확장할 가능성이 기대된다.