리만 랜딩 방법과 SQP의 통합

초록

본 논문은 비제한형 재트랙션 없이 비선형 평등 제약을 다루는 리만 랜딩 방법을 일반적인 리만 계량 설계와 연결시켜, 투사·정규 성분 분해를 통해 투사 그래디언트 흐름, 널스페이스 흐름, SQP 및 증강 라그랑지안 방법을 하나의 프레임워크로 통합한다. 특히, 적절한 계량 선택 시 랜딩 알고리즘이 2차 수렴을 보이며 SQP와 동일한 업데이트를 재현함을 보이고, 적응형 스텝 사이즈와 Armijo 기반 라인 서치를 이용한 전역 수렴 이론을 제시한다. 마지막으로 행렬 최적화, 특히 직교 제약을 갖는 경우에 대한 계량 설계 지침과 폐쇄형 업데이트 식을 제공한다.

상세 분석

논문은 먼저 기존 랜딩 방법이 “접선 성분 d_T”와 “법선 성분 d_N”으로 검색 방향을 분해한다는 점을 강조한다. 여기서 d_T는 제약 등고면 M_x 위에서 목적함수 f 를 감소시키는 리만 구속 그래디언트이며, d_N은 제약 위반 정도 ψ(x)=½‖c(x)‖² 의 무구속 그래디언트이다. 핵심은 이 두 성분을 모두 하나의 리만 계량 g 에 의해 정의한다는 점이다. 기존 연구는 보통 d_T에만 계량을 적용하고 d_N은 유클리드 기울기를 사용했지만, 저자는 g를 전체 공간 E 에 정의함으로써 두 성분을 일관되게 다룰 수 있음을 보인다.

계량 설계는 “법선 번들” N_x M_x 과 “접선 번들” T_x M_x 에 대한 사영 연산자 P_x (비직교 사영)와 그에 대한 제한 계량 g_T, g_N 을 선택하는 문제로 귀결된다. 정리 4.3 은 P_x와 g_T, g_N이 주어지면 d_T와 d_N을 명시적으로 d_T = -P_x ∇_g f, d_N = -(I-P_x) ∇_g ψ 와 같이 표현할 수 있음을 증명한다. 이 표현을 이용해 다음과 같은 기존 알고리즘과의 동등성을 도출한다.

1. 투사 그래디언트 흐름: g를 유클리드 계량으로 잡고 P_x를 직교 사영으로 선택하면 d_T는 전통적인 투사 그래디언트(1.4)와 동일해진다. d_N은 의사역(pseudoinverse) 형태와 일치함을 보이며, 이는 Yamasita(1980)와 동일한 연속 흐름을 재현한다.

2. 널스페이스 흐름: P_x를 널스페이스 사영으로 두면 d_T는 제약의 선형화에 대한 최소 제곱 해를 제공하고, d_N은 제약 위반을 직접 감소시키는 형태가 된다. 이는 Feppon 등(2020)의 널스페이스 옵티마이저와 일치한다.

3. SQP: g_T를 라그랑지안 이중 변수에 대한 헤시안으로, g_N을 제약 라그랑지안의 헤시안으로 설계하면 d_T는 Riemannian Newton 단계가 되고, d_N는 제약 라그랑지안에 대한 정확한 업데이트가 된다. 정리 5.6은 이 경우 α_k=1일 때 알고리즘이 전통적인 SQP와 동일한 2차 수렴을 보임을 증명한다.

4. 증강 라그랑지안: ψ에 대한 계량을 적절히 조정하면 d_N이 라그랑지안 승수 업데이트와 동일해지며, 이는 고전적인 ALM과 동형임을 보여준다.

전역 수렴을 위해 저자는 Armijo 조건을 만족하는 merit 함수 Φ(x)=f(x)+ρψ(x) 에 기반한 라인 서치를 제안한다. 이 라인 서치는 Lipschitz 상수에 대한 사전 지식이 필요 없으며, 기존 SQP의 전역 수렴 분석(Nocedal & Wright, 2006)을 그대로 적용할 수 있다. 알고리즘 1은 단계 크기 α_k 를 백트래킹 방식으로 선택하고, 충분히 작은 ρ 와 적절한 초기 α 가 주어지면 모든 생성된 시퀀스가 KKT 조건을 만족하는 제한점으로 수렴한다.

마지막으로 행렬 최적화, 특히 Stiefel 다양체(직교 행렬) 위에서의 적용을 다룬다. Euclidean 계량을 사용하면 d_T는 Sylvester 방정식 D c D cᵀ 를 풀어야 하는데, 이는 계산 비용이 크다. 저자는 사영 연산자를 직접 설계해 P_x = I - X Xᵀ (직교 사영) 또는 P_x = I - D cᵀ(D c D cᵀ)^{-1} D c (의사역 사영) 와 같은 형태를 선택하고, 이에 대응하는 g_T, g_N을 정의함으로써 d_T와 d_N을 행렬 곱만으로 표현한다. 이렇게 하면 복소수 연산 없이도 O(n p²) 정도의 비용으로 업데이트가 가능해져 대규모 딥러닝 모델의 가중치 정규화 등에 바로 적용할 수 있다.

전체적으로 논문은 “계량 선택 → 사영 연산자 → 기존 알고리즘과의 동등성”이라는 3단계 구조를 제시함으로써, 랜딩 방법을 단순한 실험적 기법이 아니라 리만 기하학에 기반한 포괄적 최적화 프레임워크로 승격시킨다.