클러스터링 기반 다중작업 학습의 새로운 볼록 최적화 접근법

본 논문은 다중작업 학습(Multi‑Task Learning, MTL)에서 작업 간 관계를 “작업들이 미리 알려지지 않은 군집(cluster) 형태로 묶여 있다”는 가정 하에 모델링하는 새로운 방법론을 제시한다. 기존 MTL 접근법은 크게 두 가지 범주로 나뉜다. 첫 번째는 모든 작업을 하나의 저차원 서브스페이스에 강제하는 트레이스 노름(trace norm) 기반 방법으로, 작업 간 전역적인 유사성을 가정한다. 두 번째는 작업별 가중치의 희소성이나 공유·특이성을 동시에 모델링하려는 Dirty Model과 같은 복합 정규화 기법이다. 그러나 실제 데이터에서는 작업들이 몇 개의 군집으로 구분되고, 같은 군집 내에서는 높은 유사성을 보이며 군집 간에는 차이가 나는 경우가 흔하다. 이러한 구조적 정보를 사전에 알 수 없을 때, 기존 방법들은 군집 정보를 반영하지 못하거나 비볼록 최적화에 의존해 초기값에 민감한 결과를 낳는다. 이를 해결하기 위해 저자들은 “클러스터링 스펙트럴 노름”(Clustered Spectral Norm)이라는 새로운 정규화 항을 고안한다. 이 정규화는 작업 가중치 행렬 \(W\in\mathbb{R}^{d\times T}\)에 대해, 가능한 모든 파티션 \(\mathcal{P}\) 중에서 각 군집 \(g\in\mathcal{P}\)의 평균 가중치 \(\bar{W}_g\)와 실제 가중치들의 차이를 최소화하는 형태로 정의된다. 구체적으로는 \