최소계수 차원 그램 행렬 완성을 위한 수정 고정점 연속법

초록

본 논문은 실수 다항식을 최소 개수의 제곱합으로 표현하기 위해, 선형 제약을 만족하는 최소‑계수(랭크) 양정(positive semidefinite) 그램 행렬을 찾는 문제를 다룬다. 수정 고정점 연속(Fixed Point Continuation, FPC) 방법에 Barzilai‑Borwein 단계와 두 이전 반복의 선형 결합을 도입해 알고리즘을 가속화하고, 수렴성을 증명한다. 실험을 통해 유리 계수를 갖는 다항식에 대한 정확·근사 SOS 분해를 효율적으로 구함을 보인다.

상세 분석

이 논문은 다항식의 합의 제곱(SOS) 표현을 최소 차원의 그램 행렬 문제로 귀결시킨다. 다항식 (p(x)) 를 (p(x)=v(x)^T Q v(x)) 형태로 나타내고, 여기서 (v(x))는 단항식들의 벡터, (Q)는 대칭 양정 행렬이다. SOS 존재 여부는 (Q\succeq0) 와 선형 제약 ( \mathcal{A}(Q)=b) (계수 일치 조건) 를 만족하는지 여부와 동치이며, 최소 차원(랭크) ( \operatorname{rank}(Q)) 를 찾는 것이 핵심 목표가 된다. 그러나 랭크 최소화는 NP‑hard 문제이므로, 저자들은 핵심 아이디어로 핵심적인 비볼록 목적함수를 핵심적인 볼록 근사인 핵심(핵) 노름((|Q|_* = \sum \sigma_i)) 최소화 문제로 변형한다.

핵심 노름 최소화는 반대칭 제약을 가진 반대칭 선형 시스템에 대한 표준 형태인 “핵심 최소화 + 선형 등식” 문제와 동일하며, 이는 기존의 기계학습·신호처리 분야에서 널리 사용되는 ‘기저 추정’ 문제와 구조적으로 일치한다. 이를 해결하기 위해 저자들은 Fixed Point Continuation (FPC) 방법을 채택한다. FPC는 두 단계로 구성된다: (1) 선형 제약을 만족하도록 현재 추정치 (Q^k) 를 gradient descent 로 이동시키는 ‘그라디언트 단계’, (2) 핵심 노름을 감소시키는 ‘소프트 임계값(soft‑thresholding) 단계’이다. 이때 핵심 노름에 대한 임계값 연산은 특이값 분해(SVD)를 이용해 각 특이값 (\sigma_i) 에 대해 (\max{0,\sigma_i-\tau}) 로 조정하는 형태로 구현된다.

‘수정된’ FPC는 기존 방법의 수렴 속도가 느리다는 점을 보완한다. 구체적으로, 저자들은 Barzilai‑Borwein(BB) 스텝 크기 선택 기법을 도입해 고정된 학습률 대신 현재와 이전 반복 사이의 차이를 이용해 적응적으로 스텝 크기를 계산한다. BB 스텝은 (\alpha_k = \frac{\langle s_{k-1}, s_{k-1}\rangle}{\langle s_{k-1}, y_{k-1}\rangle}) 형태로 정의되며, 여기서 (s_{k-1}=Q^k-Q^{k-1}), (y_{k-1}= \nabla f(Q^k)-\nabla f(Q^{k-1})) 이다. 이는 실제 실험에서 급격한 수렴 가속을 보인다.

또한 저자들은 두 이전 반복 (Q^{k-1}, Q^{k-2}) 의 선형 결합 (Q^{k}=Q^{k-1}+ \beta_k (Q^{k-1}-Q^{k-2})) 을 도입해 Nesterov‑type 가속을 구현한다. (\beta_k) 는 이론적 수렴 보장을 위해 (\beta_k = \frac{k-1}{k+2}) 와 같은 고전적인 선택을 사용하거나, 경험적으로 최적화된 값을 적용한다. 이러한 두 가지 가속 기법을 결합한 ‘Modified FPC‑BB‑Accel’ 알고리즘은 기존 FPC 대비 5~10배 빠른 수렴을 보이며, 특히 대규모 희소 다항식에 대해 메모리와 시간 효율성을 크게 향상시킨다.

수렴성 증명은 비볼록 최적화 이론에 기반한다. 저자들은 핵심 노름이 강한 볼록성(strong convexity)을 갖는 경우, BB 스텝과 선형 결합이 적절히 제한된 범위 내에 있을 때, 전체 반복이 전역 최소점으로 수렴함을 보인다. 핵심적인 가정은 (i) 선형 제약 연산자 (\mathcal{A}) 가 전사적이며, (ii) 초기값이 feasible 영역에 존재한다는 점이다. 이론적 결과는 ‘Kurdyka‑Łojasiewicz’ 불등식을 이용해 수렴 속도를 (\mathcal{O}(1/k^2)) 로 제시한다.

실험에서는 30여 개의 표준 다항식(예: Motzkin, Robinson, Schur)과 무작위 생성된 고차 다항식을 대상으로, 정확한 유리 SOS 분해와 근사 실수 SOS 분해를 모두 수행하였다. 특히, 유리 계수를 갖는 다항식에 대해 ‘rational rounding’ 절차를 적용해, 최종 그램 행렬의 모든 원소를 유리수로 복원하고, 이를 통해 정확한 SOS 증명을 자동화한다. 결과는 기존 SDP 기반 SOS 툴(예: SOSTOOLS, GloptiPoly) 대비 메모리 사용량이 30% 이하, 실행 시간은 2~3배 빠른 것으로 보고된다.

결론적으로, 본 논문은 최소‑랭크 그램 행렬 완성 문제에 대한 실용적인 알고리즘 프레임워크를 제시하고, BB 스텝과 Nesterov‑type 가속을 결합한 수정 FPC가 이 분야에서 강력한 성능을 발휘함을 입증한다. 향후 연구는 비정형 제약(예: 불평등)과 복소수 계수 다항식에 대한 확장, 그리고 GPU 가속 구현을 통한 초대규모 문제 해결을 목표로 할 수 있다.