증가하는 표현과 차원에서 저랭크 스파스 행렬 전이 학습

초록

본 논문은 기존 학습 시스템이 시간에 따라 특징 공간이나 잠재 표현이 확장되는 상황을 모델링한다. 소스 작업에서 잘 추정된 저랭크·스파스 행렬을 고차원 타깃 작업에 임베딩하고, 새로운 저차원 혁신과 희소 편집만을 추가로 추정하는 “앵커드 교대 투영” 알고리즘을 제안한다. 결정론적 오류 경계는 타깃 잡음, 표현 성장, 소스 추정 오류를 분리하여, 혁신 차원과 희소 편집이 작을 때 기존 단일 작업보다 엄격히 개선된 수렴 속도를 보인다. 마코프 전이 행렬과 구조적 공분산 추정 두 사례에 적용해 이론과 실험을 모두 제시한다.

상세 분석

이 논문은 “표현 성장(Representation Growth)”이라는 새로운 전이 학습 설정을 정의한다. 기존 전이·멀티태스크 학습은 모든 작업이 동일한 특성 차원을 공유한다는 전제하에 이론을 전개했지만, 실제 시스템에서는 새로운 센서나 모듈이 추가되면서 차원이 점진적으로 확대된다. 저자는 소스 작업 파라미터 Θ(1)∈ℝ^{p₁×q₁}와 타깃 작업 파라미터 Θ(2)∈ℝ^{p₂×q₂} (p₂≥p₁, q₂≥q₁)를 고려하고, 임베딩 연산자 B를 통해 소스 행렬을 제로 패딩으로 고차원 공간에 삽입한다. 이렇게 하면 소스의 저랭크 성분 L(1)=U(1)Σ(1)V(1)ᵀ는 B(U(1)), B(V(1))이라는 고정된 부분공간으로 보존된다. 타깃의 저랭크 성분 L(2)는 이 고정 부분공간에 추가적인 혁신 서브스페이스 U_Δ, V_Δ (각 차원 δ_r,2) 를 직교하게 결합하여 L(2)=U(2)A(2)V(2)ᵀ 로 표현한다. 여기서 δ_r,2≪δ_p,2,δ_q,2 로 가정함으로써 차원 확대가 실제 새로운 잠재 구조를 크게 늘리지 않음을 수학적으로 명시한다. 스파스 성분도 S(2)=B(S(1))+Δ_S(2) 로 모델링하며, Δ_S(2) 의 비제로 원소 수를 δ_s,2 로 제한한다. 이러한 구조적 가정은 “앵커드(Anchored)”라는 용어로 요약된다: 소스 서브스페이스는 고정된 앵커 역할을 하고, 타깃에서는 오직 혁신 서브스페이스와 스파스 편집만을 학습한다.

알고리즘은 두 단계의 교대 투영으로 구성된다. 첫 번째는 “앵커드 저랭크 투영”으로, 입력 행렬 M에 대해 고정된 서브스페이스를 보존하면서 rank≤r₁+δ_r,2 인 저랭크 근사를 구한다. 구체적으로 P_eU와 P_eV 라는 직교 사영 연산자를 정의하고, (I−P_eU)M(I−P_eV) 의 상위 δ_r,2 특이값을 추출해 U_Δ, V_Δ 를 얻는다. 두 번째는 “스파스 편집 투영”으로, M−S₀ 의 절대값이 큰 δ_s,2 개 원소만 남기고 나머지는 0 으로 만드는 하드 임계값 연산 H_{δ_s,2} 를 적용한다. 두 투영을 번갈아 수행하면서 목표 함수 ‖Y(2)−L(2)−S(2)‖_F² 를 최소화한다. 이 과정에서 소스 추정 오류가 고정된 앵커에만 영향을 미치므로, 전체 오류는 (i) 타깃 잡음, (ii) 표현 성장에 따른 근사 오차, (iii) 소스 추정 오차 세 부분으로 분해된다.

이론적 기여는 결정론적 오류 경계이다. 저자는 최적성 부등식에서 발생하는 근사 오차와 추정 오차를 정밀히 제어하고, 저랭크 인자화의 회전 모호성을 제거하기 위해 실제 근사점과 진실점 사이를 정규화된 직교 변환으로 정렬한다. 결과적으로, δ_r,2 와 δ_s,2 가 작을 경우, 전통적인 단일 작업 저랭크+스파스 복원률인 O( (r+ s)·log d / n ) 보다 더 빠른 수렴 속도 O( (δ_r,2+δ_s,2)·log d / n ) 를 달성한다는 것이 증명된다. 특히 마코프 전이 행렬 추정에서는 단일 궤적 데이터에 내재된 종속 잡음 구조를 고려한 새로운 마코프 체인 마틴게일 집중 불평등을 도입해, 의존성에도 불구하고 동일한 오류 경계를 얻는다.

두 가지 응용 사례는 이 프레임워크의 일반성을 보여준다. 첫 번째는 단일 궤적으로부터 마코프 전이 행렬을 추정하는 문제이며, 여기서 상태 공간이 확장될 때 기존 전이 행렬을 앵커로 사용한다. 두 번째는 고차원 공분산 행렬 추정으로, 차원 확대가 발생하는 금융·생명과학 데이터에 적용한다. 실험 결과는 δ_r,2 와 δ_s,2 가 작을 때 전이 기반 방법이 비전이 기반 방법보다 평균 제곱 오차가 현저히 낮음을 확인한다.