제약 최소제곱을 위한 정확 페널티 경로 알고리즘

초록

본 논문은 선형 및 비선형 제약조건이 있는 최소제곱 문제를 풀기 위해, 절대값 기반의 정확 페널티를 이용한 경로 추적 알고리즘을 제안한다. 페널티 상수를 0에서 시작해 점차 증가시키면서 해가 제약면에 닿고, 슬라이드하고, 탈출하는 과정을 선형 구간으로 나누어 계산한다. 알고리즘은 스윕 연산자와 QR 분해를 활용해 구현이 간단하며, 해의 자유도 추정도 동시에 제공한다. 다양한 예시를 통해 방법의 실용성과 해석적 가치를 입증한다.

상세 분석

이 논문은 제약이 있는 이차계획문을 “정확 페널티(exact penalty)” 방식으로 변형한다는 점에서 기존의 제곱 페널티 기반 방법과 근본적으로 차별화된다. 절대값 페널티는 라그랑주 승수의 절대값을 직접 제한함으로써, 페널티 상수 ρ가 충분히 크면(하지만 무한대가 아님) 원래 제약을 정확히 만족하는 해를 얻는다. 저자는 ρ=0에서 무제약 최소점 x(0)=−A⁻¹b를 시작점으로 삼고, ρ가 증가함에 따라 해 x(ρ)와 라그랑주 승수(s_i, t_j)의 변화가 선형 구간으로 구분될 수 있음을 증명한다.

핵심 아이디어는 현재 활성(active)·비활성(inactive) 제약 집합을 추적하면서, 각 구간에서 다음 사건(비활성 제약이 활성화되거나, 활성 제약의 승수가 경계값 ±1 혹은 0,1에 도달해 탈활성화되는 시점)을 계산하는 것이다. 이러한 “hitting time”과 “escape time”은 간단한 선형 방정식으로 구할 수 있으며, 구간이 바뀔 때마다 행렬 U_Z =