희소 일반화 고유값 문제를 위한 차분볼록 프로그래밍 접근법
본 논문은 일반화 고유값 문제에 희소성을 부여하기 위해 해의 카디널리티를 직접 제한하는 방법을 제안한다 ℓ1 정규화 대신 학생 t 분포의 음의 로그우도와 연관된 더 촘촘한 근사함수를 사용한다 문제를 차분볼록(d.c.) 프로그램으로 변형하고 주요화‑최소화 기법을 통해 일련의 볼록 문제를 순차적으로 해결한다 알고리즘은 임의 초기화에서도 정지점으로 수렴함을 전역 수렴 이론으로 증명한다 실험은 고차원 유전자 데이터의 희소 PCA와 다국어…
저자: Bharath Sriperumbudur, David Torres, Gert Lanckriet
논문은 먼저 희소 일반화 고유값 문제의 수학적 정의를 제시한다
일반화 고유값 문제는 A x = λ B x 로 표현되며, 여기서 A와 B는 대칭 양정치 행렬이다
희소성을 도입하려면 해 x 의 비영(非零) 원소 개수, 즉 카디널리티 ‖x‖₀ 를 제한해야 한다
전통적인 ℓ1 정규화는 ‖x‖₁ 을 최소화함으로써 희소성을 유도하지만, 이는 실제 카디널리티와는 불일치하고 큰 편향을 초래한다는 점에서 한계가 있다
이에 저자들은 카디널리티 제약을 직접 모델링하면서도 연속적이고 미분 가능한 근사함수 φ(t)=log(1+|t|/α) 를 도입한다
φ는 작은 값에서는 거의 선형, 큰 값에서는 로그 성장으로 억제되는 특성을 가져 ℓ0 에 가까운 근사 효과를 제공한다
이 함수를 이용해 원래 목적 함수를
f(x)=xᵀA x − λ xᵀB x + γ ∑φ(x_i) 로 재구성한다
여기서 첫 두 항은 볼록, 마지막 항은 차분볼록 형태로 분리된다
따라서 전체 문제는 차분볼록(d.c.) 프로그램으로 표현될 수 있다
차분볼록 프로그램을 해결하기 위해 저자들은 주요화‑최소화(MM) 프레임워크를 적용한다
MM 단계에서는 현재 해 x⁽ᵏ⁾ 에서 비볼록 부분 γ ∑φ(x_i) 를 1차 접선으로 상한화하여
g(x;x⁽ᵏ⁾)=γ ∑
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기