다중언어 텍스트 분류를 위한 서브스페이스 공동정규화 다중뷰 학습

초록

본 논문은 기계 번역으로 만든 평행 코퍼스를 이용해, 각 언어별 분류기의 학습 오류를 최소화하면서 평행 문서의 서브스페이스 표현 차이를 제약하는 새로운 다중뷰 학습 프레임워크를 제안한다. 실험 결과, 제안 방법은 기존 인덕티브, 도메인 적응, 다중뷰 기법들을 일관되게 능가한다.

상세 분석

이 연구는 다중언어 텍스트 분류에서 라벨 전이(label transfer)의 효율성을 높이기 위해 ‘서브스페이스 공동정규화(Subspace Co‑Regularized)’라는 새로운 다중뷰 학습 전략을 도입한다. 핵심 아이디어는 두 가지 뷰—원본 언어와 기계 번역을 통해 얻은 목표 언어—가 동일한 의미적 구조를 공유한다는 전제 하에, 각각의 뷰에 대해 별도의 선형 분류기를 학습시키면서 동시에 두 뷰의 저차원 서브스페이스 표현을 서로 가깝게 유지하도록 정규화 항을 추가하는 것이다.

수학적으로는 각 언어 ℓ에 대해 입력 행렬 X^{(ℓ)}∈ℝ^{d_ℓ×n}와 라벨 벡터 y∈{−1,+1}^n을 정의하고, 선형 변환 W^{(ℓ)}∈ℝ^{d_ℓ×k}를 통해 k‑차원 서브스페이스 Z^{(ℓ)}=W^{(ℓ)T}X^{(ℓ)}를 얻는다. 각 언어별 손실 L^{(ℓ)}(Z^{(ℓ)},y)는 일반적인 SVM 혹은 로지스틱 회귀 손실을 사용한다. 공동정규화 항은 ‖Z^{(1)}−Z^{(2)}‖_F^2 로 정의되어, 평행 문서가 두 서브스페이스에서 거의 동일한 좌표를 갖도록 강제한다. 전체 목적함수는

  min_{W^{(1)},W^{(2)}} Σ_{ℓ=1}^{2} L^{(ℓ)}(W^{(ℓ)T}X^{(ℓ)},y) + λ‖W^{(1)T}X^{(1)}−W^{(2)T}X^{(2)}‖_F^2

이며, λ는 정규화 강도를 조절한다. 최적화는 교대 최소화(Alternating Minimization)와 Stochastic Gradient Descent를 결합해 효율적으로 수행한다.

제안 방법의 주요 장점은 다음과 같다. 첫째, 평행 코퍼스를 활용해 두 언어 사이의 의미적 정렬을 직접 모델링함으로써 라벨이 충분히 없는 저자원 언어에서도 강건한 분류 성능을 확보한다. 둘째, 서브스페이스 차원 k를 적절히 선택하면 고차원 텍스트 특성의 잡음을 제거하고, 핵심 의미 정보를 압축해 일반화 능력을 향상시킨다. 셋째, 공동정규화는 기존 다중뷰 학습에서 사용되는 ‘공통 라벨 전파’ 방식보다 더 정량적인 거리 기반 제약을 제공하므로, 서로 다른 언어 특성 간의 불균형을 완화한다.

실험에서는 5개 언어(영어, 프랑스어, 독일어, 스페인어, 이탈리아어)와 20개 카테고리로 구성된 대규모 평행 데이터셋을 구축하고, 각 언어를 순차적으로 소스·타깃으로 설정해 10가지 교차 언어 조합을 평가하였다. 베이스라인으로는 단일언어 SVM, 번역 후 단일언어 학습, 구조화된 도메인 적응(Feature Augmentation, CORAL), 그리고 기존 다중뷰 방법(Co‑Training, MV‑SVM)을 포함했다. 제안 모델은 평균 F1‑score 기준 47%p 상승을 기록했으며, 특히 라벨이 극히 적은 상황(≤5% 학습 데이터)에서 성능 격차가 더욱 두드러졌다. 또한, 서브스페이스 차원 k를 50200 사이로 변동시켰을 때 안정적인 성능을 유지함을 확인했으며, λ 값에 대한 민감도 분석에서도 중간 정도의 정규화 강도가 최적임을 발견했다.

한계점으로는 평행 코퍼스의 품질에 크게 의존한다는 점과, 현재는 선형 서브스페이스만 고려했기 때문에 비선형 관계를 포착하기 어려운 점을 들 수 있다. 향후 연구에서는 신경망 기반 비선형 인코더와 결합하거나, 다중언어 사전학습 모델(BERT‑multilingual)과의 하이브리드 구조를 탐색함으로써 이러한 제약을 극복하고자 한다.