구조적 분해와 그룹 희소성을 활용한 다중 라벨 학습

초록

본 논문은 다중 라벨 학습에서 라벨 간 상관관계를 효율적으로 활용하기 위해 데이터 행렬을 라벨별 저차원 서브스페이스와 희소 잔차로 분해하는 구조적 분해 기법을 제안한다. 학습 단계에서 얻은 각 라벨의 서브스페이스를 기반으로, 새로운 샘플을 그룹 라쏘를 이용해 그룹 희소 표현으로 재구성하고, 비영(非零) 계수가 활성화된 서브스페이스를 라벨 예측에 이용한다. 실험 결과, 제안 방법은 기존 다중 라벨 기법 대비 높은 정확도와 낮은 연산 비용을 보인다.

상세 분석

이 논문은 다중 라벨 분류 문제에서 라벨 간의 구조적 상관관계를 명시적으로 모델링하면서도 계산 복잡도를 크게 증가시키지 않는 새로운 프레임워크인 Structured Decomposition + Group Sparsity (SDGS)를 제시한다. 핵심 아이디어는 전체 데이터 행렬 (X\in\mathbb{R}^{n\times p})를 라벨별 저차원 행 공간 (L^{i})와 전체적으로 희소한 잡음 행렬 (S)의 합으로 분해하는 것이다. 여기서 (L^{i})는 라벨 (i)에 속하는 샘플들의 행만 비제로이며, 해당 행들은 저랭크 구조를 갖는다. 이는 라벨마다 고유한 특징 서브스페이스가 존재한다는 가정을 수학적으로 구현한 것으로, 라벨 간 중복 정보를 자연스럽게 억제한다.

학습 단계에서는 교대 최소화(Alternating Minimization) 방식을 사용해 (L^{i})와 (S)를 순차적으로 업데이트한다. 각 (L^{i})는 해당 라벨에 속하는 행에 대해 저랭크 근사(예: 랜덤화된 SVD)를 수행하고, 나머지 행은 0으로 고정한다. (S)는 전체 행렬에 대해 (\ell_{1}) 정규화를 적용해 희소성을 강제한다. 랜덤화된 최적화는 대규모 데이터에서도 메모리와 시간 복잡도를 크게 낮추어, 기존의 라벨 상관관계 매트릭스를 직접 다루는 방법보다 효율적이다.

예측 단계에서는 새로운 샘플 (\mathbf{x})를 미리 학습된 라벨 서브스페이스들의 결합으로 표현한다. 구체적으로, (\mathbf{x})를 (\sum_{i=1}^{k}L^{i}\mathbf{c}^{i}) 형태로 근사시키며, 여기서 (\mathbf{c}^{i})는 라벨 (i)에 대응하는 서브스페이스의 계수 벡터이다. 이를 그룹 라쏘(Group Lasso) 문제로 정의해 (\ell_{2,1}) 정규화를 적용함으로써, 동일 라벨에 속하는 계수들이 동시에 0이 되거나 비제로가 되도록 유도한다. 결과적으로 비제로 계수가 나타나는 그룹은 해당 샘플이 속할 가능성이 높은 라벨을 의미한다.

이 접근법의 장점은 크게 세 가지로 요약할 수 있다. 첫째, 라벨 별 서브스페이스를 명시적으로 학습함으로써 라벨 간 상관관계를 고차원 특징 공간에 자연스럽게 매핑한다. 둘째, 그룹 라쏘를 통한 희소 표현은 라벨 예측을 단순히 임계값을 적용하는 것이 아니라, 구조적 근거에 기반한 선택적 활성화를 제공한다. 셋째, 랜덤화된 저랭크 근사와 교대 최소화는 대규모 데이터셋에서도 실용적인 시간·메모리 요구사항을 만족한다.

실험에서는 전통적인 Binary Relevance, Classifier Chains, ML‑kNN, 그리고 최근의 Deep Learning 기반 다중 라벨 모델들과 비교했으며, 평균 정확도, 마크로‑F1, 마이크로‑AUC 등 다양한 평가 지표에서 일관되게 우수한 성능을 기록했다. 특히 라벨 수가 많고 라벨 간 중복도가 높은 데이터셋에서 SDGS는 기존 방법보다 라벨 예측의 정밀도가 크게 향상되었다. 다만, 라벨 별 저랭크 차원을 사전에 설정해야 하는 점과, 매우 희소한 라벨이 존재할 경우 서브스페이스 학습이 불안정해질 수 있다는 제한점도 논의된다.

종합하면, SDGS는 라벨 구조를 행렬 분해라는 수학적 틀 안에 통합하고, 그룹 희소성을 활용해 효율적이며 해석 가능한 다중 라벨 예측을 구현한 혁신적인 방법이라 할 수 있다.