활성학습에서 부드러운 문제의 불일치 계수 개선

초록

본 논문은 부드러운 가설 클래스에 대한 불일치 계수(disagreement coefficient)를 기존의 $O(m^{3/2})$에서 차원 $m$에 비례하는 $O(m)$ 으로 상한을 낮추었다. 핵심은 John 타원과 구 형태의 대칭 볼록 집합을 이용한 새로운 비율 추정이며, 이는 Friedman(2009)의 질문에 대한 직접적인 답변이 된다.

상세 분석

논문은 Friedman(2009)에서 제시된 “활성학습 for smooth problems”의 핵심 정리인 Theorem 4의 증명을 재활용하면서, 불일치 계수의 상한을 더 정밀하게 분석한다. 핵심 도구는 $m$ 차원 실수 공간 $\mathbb{R}^m$에 존재하는 대칭·원점 중심·볼록 집합 $K_m$과, 이 집합에 포함된 모든 벡터 $h$에 대해 $\sup_{h\in K_m}|v^\top h|$ 와 $\sup_{h\in K_m} \sum_{v\in V}|v^\top h|$ 의 비율을 평가하는 Proposition 1이다.

Proposition 1은 John 타원의 존재성을 이용한다. 구체적으로, $K_m$을 포함하고 $K_m\subseteq\sqrt{m},E$ 를 만족하는 타원 $E={x^\top A^\top A x\le 1}$ 를 잡는다. 그러면 $K_m$ 안의 최댓값은 $E$ 안의 최댓값에 $\sqrt{m}$ 배만큼 늘어날 수 있다. 여기서 $E$ 를 단위 구 $S^{m-1}$ 로 변환하면, $A^{-1}$ 로 선형 변환된 벡터와 구 위의 균등분포 $U_m$ 사이의 기대값 관계가 등장한다.

중요한 단계는 임의의 단위벡터 $u$에 대해 $E_{h\sim U_m}