활성학습과 확률적 볼록 최적화의 알고리즘적 연결
본 논문은 1차원 임계값 추정 문제에 대한 적응형 활성학습 알고리즘을 제시하고, 이를 이용해 좌표별 그래디언트 부호만을 제공하는 약한 오라클에서도 다차원 균일볼록 함수의 확률적 최적화를 수행한다. 두 분야의 이론적 연관성을 활용해 최적의 최소극대 수렴률을 달성하면서, 모든 균일볼록성 및 매끄러움 파라미터를 사전 지식 없이도 자동 적응한다.
저자: Aaditya Ramdas, Aarti Singh
본 논문은 활성학습(active learning)과 확률적 볼록 최적화(stochastic convex optimization) 사이의 이론적 연관성을 활용해 새로운 알고리즘을 제시한다. 먼저, 균일볼록(Uniformly Convex, UC) 함수와 활성학습에서 사용되는 임계점 주변의 노이즈 조건(Tsybakov Noise Condition, TNC)을 수학적으로 동일시한다. UC 함수 f는 임의의 좌표 방향으로 제한하면 1차원 UC 함수가 되며, 그 미분은 단조 증가한다. 이 미분이 0을 지나는 지점은 f의 전역 최소점이며, 라벨이 전환되는 임계점과 정확히 일치한다. 따라서 좌표별 그래디언트 부호를 관측하는 부호 오라클(sign oracle)은 1차원 임계값 학습 문제와 동등하게 모델링될 수 있다.
이 연관성을 바탕으로 저자들은 기존 비적응형 BZ(Binary Search) 알고리즘이 요구하는 TNC 파라미터(k, μ, M)를 사전 알 필요 없이, 최적화 알고리즘
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기