조건부 독립만으로 위험 추정하기

조건부 독립 구조만을 가정하고, 라벨이 없는 데이터로부터 모델의 테스트 위험을 추정하는 방법을 제시한다. 3‑view 가정 하에 순간(moment) 방정식을 이용해 조건부 위험 행렬과 클래스 비율을 복원하고, 이를 통해 로그 손실·지수 손실 등 다양한 손실에 대해 무표본 위험 추정과 무감독 학습이 가능함을 보인다.

저자: Jacob Steinhardt, Percy Liang

조건부 독립만으로 위험 추정하기
본 논문은 라벨이 전혀 없는 테스트 데이터에 대해 모델의 실제 위험(Risk)을 추정하는 새로운 방법론을 제시한다. 기존의 무감독 위험 추정 연구는 대부분 훈련과 테스트 분포가 비슷하거나, 모델이 정확히 지정된 파라메트릭 형태를 따른다는 강한 가정을 필요로 했다. 저자들은 이러한 가정을 완전히 배제하고, 오직 “조건부 독립(Conditional Independence)”이라는 구조적 가정만을 남긴다. 핵심 가정은 3‑view 구조이다. 입력 x를 세 부분 x₁, x₂, x₃ 로 분할했을 때, 이들 세 부분이 라벨 y에 대해 조건부 독립임을 가정한다(Assumption 1). 또한 손실 함수 L(θ;x,y)가 각 뷰별 함수 fᵥ(θ;xᵥ,y)의 합 형태로 분해될 수 있어야 한다: L(θ;x,y)=A(θ;x)−∑ᵥfᵥ(θ;xᵥ,y). 여기서 A는 y와 무관한 항이며, fᵥ는 로그 손실, 지수 손실, 혹은 신경망 기반 예측값 등 다양한 연속 손실을 포함한다. 이 가정 하에 저자들은 “조건부 위험 행렬” Mᵥ∈ℝ^{k×k}를 정의한다. (Mᵥ)_{ij}=E

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기