언제 대표 정리가 성립하는가 벡터와 행렬 정규화기의 차이

초록

본 논문은 선형 측정 기반 파라미터 학습에서 정규화 함수가 내적에 대한 비감소 함수일 때만 대표 정리(learned vector가 입력 데이터의 선형 결합으로 표현됨)가 성립함을 증명한다. 또한 다중 과제 학습을 위한 행렬 정규화 문제를 확장하여, 행렬 비감소 함수라는 새로운 개념을 도입하고, 이 조건이 필요충분임을 제시한다. 실용적인 예시와 함께 이론적 결과를 검증한다.

상세 분석

대표 정리(representer theorem)는 커널 기반 학습에서 핵심적인 역할을 하는데, 이는 정규화된 최적화 문제의 해가 훈련 데이터의 선형 결합 형태로 나타난다는 것을 의미한다. 기존 문헌에서는 정규화 항이 입력 벡터와의 내적에 대한 비감소 함수라면 충분조건임을 보였으나, 필요조건에 대한 논의는 부족했다. 본 논문은 이를 보완하여, 정규화 함수 ( \Omega(w) )가 ( \Omega(w)=g(\langle w,w\rangle) ) 형태이며 ( g )가 비감소 함수일 때만 대표 정리가 성립한다는 것을 역방향 증명으로 확립한다. 이 과정에서 라그랑주 승수와 서브그라디언트 조건을 활용해, 만약 ( g )가 비감소가 아니면 최적해가 데이터 스팬(span) 밖에 존재할 수 있음을 보인다.

다음으로, 다중 과제 학습에서 파라미터가 행렬 ( W\in\mathbb{R}^{d\times T} ) 형태로 확장될 때, 기존의 벡터형 정규화 조건만으로는 충분하지 않다. 저자들은 “행렬 비감소 함수(matrix nondecreasing function)”라는 개념을 도입한다. 구체적으로, 정규화 항이 ( \Omega(W)=h(W^{\top}W) ) 형태이며, ( h )가 행렬의 고유값을 기준으로 비감소(즉, 두 대칭 양정 행렬 (A\preceq B)이면 (h(A)\le h(B)))일 경우에만 행렬 버전의 대표 정리가 성립한다는 것을 증명한다. 이때, 최적해는 각 과제의 입력 데이터 행렬들의 열공간에 속하는 행렬들의 선형 결합으로 표현될 수 있다.

필요충분 조건을 증명하기 위해 저자들은 행렬 미분법과 스펙트럴 함수 이론을 활용한다. 특히, 스펙트럴 함수가 행렬 순서 보존성을 갖는다는 사실을 이용해, 정규화 항이 행렬 순서에 따라 단조 증가하면 최적해가 데이터 스팬 안에 제한된다는 점을 보인다. 반대로, 순서 보존성이 깨지는 경우에는 최적해가 데이터 스팬을 벗어날 수 있음을 구체적인 반례를 들어 설명한다.

마지막으로, 논문은 대표 정리를 만족하는 실제 정규화 함수들의 예시를 제시한다. 벡터 경우에는 ( \ell_2 ) 정규화, 힌지 손실 기반 정규화, 그리고 로그-쌍곡선 함수 등이 포함된다. 행렬 경우에는 트레이스 노름(핵노름), Frobenius 노름, 그리고 다중 과제 학습에서 자주 쓰이는 공동 정규화(예: 그룹 라쏘) 등이 행렬 비감소 조건을 만족한다는 것을 확인한다. 이러한 예시는 이론적 결과가 실제 머신러닝 알고리즘 설계에 직접 적용될 수 있음을 보여준다.

전체적으로, 본 논문은 정규화 함수의 구조적 특성이 대표 정리의 존재와 직접 연결된다는 깊은 통찰을 제공하며, 특히 행렬 정규화기의 경우 새로운 수학적 도구를 도입해 기존 이론을 크게 확장한다. 이는 커널 방법뿐 아니라 다중 과제 학습, 협업 필터링, 구조화된 딥러닝 모델 등 다양한 분야에서 보다 엄밀한 설계와 해석을 가능하게 한다.