다변량 선형 회귀의 차원 축소와 계수 추정을 위한 볼록 최적화 방법

초록

본 논문은 다변량 선형 회귀에서 트레이스 노름 정규화를 적용한 최소제곱 추정치를 계산하기 위한 두 가지 볼록 최적화 알고리즘을 비교한다. 변형된 네스테르프의 스무스 방법과 SDPT3 기반 내부점 방법을 실험적으로 평가한 결과, 스무스 방법이 메모리 효율성과 실행 속도 모두에서 우수함을 확인하였다.

상세 분석

이 연구는 다변량 선형 회귀 모델 (Y = XB + E)에서 계수 행렬 (B)를 추정할 때, 차원 축소와 변수 선택을 동시에 수행하는 트레이스 노름(핵노름) 정규화 기법을 채택한다. 트레이스 노름 (|B|* = \sum{i}\sigma_i(B))은 (B)의 특잇값 합으로, 저랭크 구조를 유도해 모델 복잡도를 제어한다. 기존의 FES(Factor Estimation and Selection) 방법은 이 정규화된 최소제곱 문제를 풀어야 하는데, 고차원 데이터에서는 제약조건이 비선형이면서도 대규모 SDP(반정밀 반정밀 프로그램) 형태로 변환돼 계산 비용이 급증한다.

논문은 두 가지 해결책을 제시한다. 첫 번째는 네스테르프의 스무스 최적화 프레임워크를 변형한 방법으로, 트레이스 노름을 부드러운 근사 함수 (\phi_{\mu}(B) = \max_{ |U|_2 \le 1 } \langle U, B\rangle - \frac{\mu}{2}|U|_F^2) 로 대체한다. 여기서 (\mu)는 스무딩 파라미터이며, 이 근사는 강한 볼록성 및 리프시츠 연속성을 제공해 가속화된 1차 방법(가중치 업데이트와 투사 단계)으로 최적화를 수행한다. 알고리즘은 매 반복마다 특잇값 분해를 이용해 투사 연산을 수행하지만, 전체 복잡도는 (O(pq\min{p,q})) 수준에 머물며 메모리 사용량은 (O(pq))에 불과하다.

두 번째는 전통적인 내부점 방법으로, 트레이스 노름 제약을 SDP 형태로 변환한 뒤 SDPT3(버전 4.0 beta)를 이용해 최적화한다. 내부점 방법은 이론적으로 다항 시간 복잡도를 보장하지만, 각 이터레이션에서 대규모 켤레 행렬을 형성하고 차원에 따라 (O((pq)^3))의 연산량과 (O((pq)^2))의 메모리를 요구한다.

실험에서는 (p,q)를 100500 범위로 변동시키고, 샘플 수 (n)을 2001000으로 설정한 무작위 인스턴스를 30개씩 생성해 두 알고리즘을 비교했다. 결과는 스무스 방법이 평균 실행 시간에서 5~10배 빠르고, 메모리 사용량이 20배 이상 절감됨을 보여준다. 특히 (p,q)가 400 이상일 때 내부점 방법은 메모리 부족으로 실행이 중단되는 경우가 빈번했다. 정확도 측면에서는 두 방법 모두 최적 목표값에 수렴했으며, 스무스 방법은 (\epsilon=10^{-4}) 수준의 허용 오차 내에서 동일한 해를 얻었다.

이 논문은 트레이스 노름 정규화 문제를 대규모 데이터에 적용할 때, 스무스 최적화가 실용적인 대안임을 입증한다. 또한, 스무스 방법의 파라미터 (\mu) 선택과 초기화 전략이 수렴 속도에 미치는 영향을 간략히 탐색했으며, 향후 연구에서는 적응형 스무딩 및 가변 스텝 사이즈 기법을 도입해 더욱 효율적인 구현이 가능할 것으로 기대한다.