구조화된 전체 최소제곱 문제의 새로운 해법

초록

본 논문은 측정 오차가 다양한 형태와 구조를 가질 때 적용 가능한 구조화된 전체 최소제곱(STLS) 문제를 제안하고, 순수 핵심노름 완화가 큰 근사오차를 보이는 점을 지적한다. 이를 개선하기 위해 가중 핵심노름(re‑weighted nuclear norm) 접근법을 도입하고, 증강 라그랑지안(ALM) 기반의 빠른 최적화 알고리즘을 설계한다. 실험을 통해 제안 방법이 기존 비볼록 해법보다 높은 정확도를 달성함을 확인하고, 세포 유형별 유전자 발현 추정이라는 실제 생물학적 응용 사례에도 성공적으로 적용한다.

상세 분석

전체 최소제곱(TLS)은 종속 변수와 독립 변수 모두에 측정 오차가 존재할 경우 회귀 계수를 추정하는 일반화된 방법으로, 전통적인 경우 동일하고 독립적인 가우시안 잡음이 가정될 때 특이값 분해(SVD)로 정확히 풀 수 있다. 그러나 실제 데이터에서는 잡음 수준이 항목마다 다르거나, 오류가 특정 구조(예: 블록 대각, 토플리츠, 행켈) 를 가져야 하며, 이상치에 강인한 손실 함수를 사용해야 하는 경우가 많다. 이러한 상황을 ‘구조화된 전체 최소제곱(STLS)’이라 정의하고, 기존 SVD 기반 해법은 적용이 불가능하다.

논문은 STLS를 행렬 순위 제약 문제로 재구성한 뒤, 순위 제약을 완화하기 위해 핵심노름(핵노름, nuclear norm) 을 사용한다. 그러나 핵심노름은 저‑랭크 행렬을 촉진하도록 설계돼, 목표가 거의 완전한 랭크(N‑1)인 STLS 상황에서는 큰 근사오차를 야기한다. 이를 해결하기 위해 가중 핵심노름을 도입한다. 가중 핵심노름은 로그‑행렬식(log‑det) 휴리스틱을 선형화한 형태로, 큰 특이값에 낮은 가중치를 부여해 실제 랭크에 더 가깝게 근사한다. 가중치는 현재 해의 특이값을 이용해 반복적으로 업데이트되며, 이는 스파스 회복에서 가중 L1 노름을 사용하는 전략과 직접적인 유사성을 가진다.

알고리즘적 측면에서는 증강 라그랑지안 방법(ALM)을 채택한다. ALM은 목적함수와 제약조건을 결합한 라그랑지안에 제곱 페널티 항을 추가해, 라그랑지 승수를 순차적으로 업데이트하면서 수렴을 가속한다. 핵심노름 및 가중 핵심노름 각각에 대해, A와 E(오차 행렬)를 교대로 최적화하고, A에 대한 업데이트는 특이값 임계값(soft‑thresholding) 연산으로, E에 대한 업데이트는 선형 제약(L(E)=b)을 만족하도록 투영(projection)한다. 가중 핵심노름의 경우, W₁·A·W₂ 형태의 가중 행렬을 도입하고, D=W₁AW₂ 라는 새로운 변수와 Sylvester 방정식을 풀어 A를 정확히 업데이트한다. 이는 기존의 2차 정보(헤시안)를 사용하지 않고도 1차 연산만으로 효율적인 수렴을 가능하게 한다.

실험에서는 합성 데이터와 실제 생물학적 데이터 두 가지를 사용한다. 합성 실험에서는 잡음 수준이 이질적이고, 일부 원소가 정확히 알려진 경우를 시뮬레이션해, 가중 핵심노름 기반 STLS가 순수 핵심노름 및 비볼록 로컬 최적화보다 평균 오류가 현저히 낮음을 보인다. 실제 응용으로는 집단 평균 유전자 발현 데이터를 이용해 세포 유형별, 생리적 상태별 발현량을 추정하는 문제에 적용한다. 여기서는 오류 구조가 블록 대각 형태이며, 일부 측정값은 높은 신뢰도를 갖는다. 제안 방법은 기존 방법에 비해 추정된 발현량이 실험적 검증과 더 잘 일치함을 보여, 복잡한 구조적 잡음이 존재하는 실제 과학 문제에서도 실용성을 입증한다.

전체적으로, 논문은 STLS 문제를 convex하게 풀 수 있는 새로운 프레임워크를 제공하고, 가중 핵심노름과 ALM 기반 최적화가 실제 대규모 데이터에서도 효율적이며 정확함을 증명한다. 이는 머신러닝, 신호 처리, 생물정보학 등 다양한 분야에서 구조화된 오류 모델을 다루는 새로운 도구로 활용될 전망이다.