행렬 확률 거울 하강법의 수렴과 암묵적 편향

본 논문은 Stochastic Mirror Descent(SMD)를 행렬 파라미터와 벡터형 예측값을 갖는 문제에 적용하고, 특히 과다 매개변수(over‑parameterized) 상황에서의 수렴 특성과 암묵적 편향(implicit bias)을 체계적으로 분석한다. 서론에서는 최적화 알고리즘이 단순히 수렴 속도만이 아니라 학습된 모델의 구조적 특성을 결정한다는 최근 연구 흐름을 소개하고, 거울 함수 ψ를 통해 표준 SGD를 일반화하는 SMD의 기본 원리를 설명한다. ψ가 강하게 ν‑볼록하면 ∇ψ가 정의하는 dual 공간에서의 이동이 가능해지며, ψ=½‖·‖_2^2 일 때는 기존 SGD와 동일함을 언급한다. 문제 설정에서는 선형 연산자 A:ℝ^{d×k}→ℝ^p와 관측 벡터 b를 이용해 A(W)=b 라는 제약식으로 표현되는 행렬 회복 문제를 정의한다. 예시로는 (1) 행렬 완성, (2) 다중 클래스 선형 분류가 제시된다. 손실은 L(W)= (1/p)∑_i ℓ_i(A(W)_i – b_i) 형태이며, 각 ℓ_i는 µ‑강볼록, 비음이며 최소값이 0인 스칼라 손실이다. 알고리즘 정의에서는 ψ가 미분 가능하고 ν‑강볼록일 것을 가정하고, 업데이트 식 ∇ψ(W_t)=∇ψ(W_{t‑1})–η∇_W L_t(W_{t‑1}) 를 제시한다. 여기서 L_t는 무작위 배치에 대한 경험적 손실이며, 기대값이 전체 손실 L과 일치하도록 배치를 선택한다. 주요 가정은 다음과 같다. (1) ψ는 ν‑강볼록, (2) 각 ℓ_i는 µ‑강볼록, (3) 배치 평균이 전체 손실, (4) η가 충분히 작아 ψ–ηL_t 가 볼록, (5) A의 최소 특잇값 σ_p(A)>0, (6) ψ‑Bregman 발산을 최소화하는 유일한 해 W*가 존재하고, 그 주변에서 2차 미분 연산자의 노름이 상수 C 로 제한된다. 정리 1에서는 위 가정 하에 W_t 가 W* 로 수렴함을 보이며, 추가 가정(5,6)과 B 집합 내 상수 L을 도입해 기대값에 대한 지수적 수렴식 (5)를 제시한다. 이는 수렴률이 η·µ·σ_p(A)^2/(2pL) 만큼 감소한다는 의미이며, ψ의 강볼록성 파라미터 ν가 상수 C에 영향을 준다. 증명 섹션에서는 Bregman 발산의 삼각 관계(Lemma 1), ψ와 손실의 결합 발산 관계(Lemma 2), 그리고 보간 해 집합 내에서의 최적성(KKT 조건) 등을 차례로 이용한다. 특히 Lemma 5에서 D_ψ(W*,W_{t‑1})와 A·(W*–W_{t‑1}) 사이의 하한을 강볼록 손실의 µ와 A의 최소 특잇값을 통해 연결함으로써 수렴률을 도출한다. 암묵적 편향 부분에서는 SMD의 누적 업데이트를 ∇ψ(W_t)–∇ψ(W_0)=η∑_{s=1}^t ∇L_s(W_s) 로 표현하고, 최종 수렴점 W_∞ 가 KKT 조건을 만족함을 보인다. 따라서 W_∞ 은 ψ‑Bregman 발산을 최소화하는 유일한 해 W* 와 동일함을 증명한다. 이는 초기점 W_0 로부터 ψ가 정의하는 거리 측면에서 가장 “가까운” 보간 해로 수렴한다는 의미이며, ψ를 적절히 선택하면 ℓ_2‑norm 최소화, nuclear‑norm 최소화 등 다양한 편향을 유도할 수 있다. 실험에서는 행렬 완성 문제를 대상으로 Schatten‑p 거울 ψ(W)=∑σ_i(W)^p (p≈1.05) 를 사용한다. 이는 nuclear norm(ℓ_1) 을 근사하면서도 미분 가능성을 확보한다. 비교 대상은 전통적인 Singular Value Thresholding(SVT)와 Soft‑Impute이다. 100×100, rank 5 인 행렬을 0.1~0.9 의 관측 확률로 샘플링하고, 각 방법을 200 iteration 실행한다. 결과는 상대 Frobenius 오차가 낮은 Schatten‑p SMD 가 모든 관측 비율에서 SVT·Soft‑Impute 를 앞선다. 특히 관측 비율이 낮을수록 차이가 크게 나타나, 저‑랭크 가정이 강하게 작용하는 상황에서 제안 방법의 효율성을 확인한다. 결론에서는 행렬형 파라미터에 대한 SMD 이론을 정립하고, ψ에 따라 다양한 구조적 편향을 명시적으로 제어할 수 있음을 강조한다. 또한, 실험을 통해 이론적 결과가 실제 데이터 복원 작업에서도 실질적인 성능 향상으로 이어짐을 보여준다. 향후 연구로는 비선형 모델, 비선형 손실, 그리고 더 일반적인 행렬 구조(예: 양성정규화, 스파스성) 등에 대한 확장 가능성을 제시한다.