일반화된 스티프셀 다양체 최적화를 위한 부드러운 국소 정확 페널티 방법

초록

본 논문은 일반화된 스티프셀 다양체 위의 최적화 문제를 다루며, 특이(랭크 결함)인 행렬 M을 허용하는 부드러운 국소 정확 페널티 모델(SLEP)을 제안한다. 충분히 큰 페널티 파라미터 하에서 원문 문제와 동일한 1차·2차 정류점을 공유함을 증명하고, 이를 통해 기존 리만 최적화보다 연산 비용이 적은 무제약 최적화 알고리즘을 직접 적용할 수 있음을 보인다. 실험을 통해 제안 방법이 기존 방법보다 빠르고 정확함을 확인하였다.

상세 분석

본 연구는 일반화된 스티프셀 다양체 S_M(n,p)={X\in\mathbb{R}^{n\times p}\mid X^{\top}MX=I_p} 위의 비선형 최적화 문제(OCP)를 다루며, 특히 M이 양의 반정치(positive semidefinite)이면서 랭크가 p보다 작을 수도 있는 경우에 초점을 맞춘다. 기존의 리만 최적화 기법은 M이 양정정인 경우에만 효율적인 재트랙션·벡터 전송 연산을 제공했으며, M이 특이하면 이러한 연산이 정의되지 않거나 계산 비용이 급증한다. 저자들은 KKT 조건에서 라그랑주 승수 Λ* = X^{\top}\nabla f(X) 가 닫힌 형태임을 이용해, 원래의 라그랑주 함수를 직접 사용하면 ∇f가 포함돼 미분 가능성이 손상된다는 문제를 지적한다. 이를 해결하기 위해 Taylor 1차 전개를 적용해 f(X)−½⟨∇f(X),X(X^{\top}MX−I_p)⟩ 를 f(A(X)) 로 근사하고, A(X)=X\bigl(\frac{3}{2}I_p-\frac{1}{2}X^{\top}MX\bigr) 로 정의한다. 결과적으로 제안된 부드러운 국소 정확 페널티 모델(SLEP)은
\