수직 비음수 행렬 분해를 위한 수렴 알고리즘

초록

본 논문은 유니-오쏘고날 및 바이-오쏘고날 비음수 행렬 분해(NMF) 알고리즘을 제안하고, Lee‑Seung의 곱셈 업데이트와 Lin의 보조함수 기법을 결합해 수렴성을 엄격히 증명한다. 실험을 통해 이론적 수렴 보장이 실제 수렴 속도와 분해 정확도 향상으로 이어짐을 확인한다.

상세 분석

논문은 먼저 비음수 행렬 V∈ℝ^{m×n}{+}를 두 개의 비음수 행렬 W∈ℝ^{m×r}{+}, H∈ℝ^{r×n}_{+}의 곱으로 근사하는 전통적 NMF 문제를 소개한다. 여기서 r은 저차원 표현의 차원이다. 기존 NMF는 해의 비음수성만을 보장하지만, 데이터 클러스터링이나 특징 독립성 확보를 위해 추가적인 직교성(orthogonality) 제약이 요구된다. 직교성은 두 가지 형태로 정의된다. 첫째, 유니-오쏘고날(NMF‑U)에서는 H H^{T}=I_r 혹은 W^{T}W=I_r와 같이 하나의 팩터만 직교성을 만족한다. 둘째, 바이-오쏘고날(NMF‑B)에서는 W와 H가 동시에 직교성을 만족한다: W^{T}W=I_r, H H^{T}=I_r. 이러한 제약은 해의 해석성을 높이고, 군집화 성능을 향상시키지만, 최적화 과정에서 비음수성 및 직교성이라는 이중 제약을 동시에 만족시켜야 하므로 알고리즘 설계가 복잡해진다.

알고리즘 설계는 Lee와 Seung이 제시한 곱셈 업데이트 규칙을 출발점으로 삼는다. 기본 업데이트식은 비용 함수 J(W,H)=½‖V−WH‖_F^2를 감소시키며, 비음수성을 자연스럽게 유지한다. 그러나 직교성 제약을 직접 포함시키면 곱셈 업데이트만으로는 수렴을 보장할 수 없으며, 수치적 발산 위험이 존재한다. 이를 해결하기 위해 Lin이 제안한 보조함수(auxiliary function) 접근법을 차용한다. 보조함수는 현재 파라미터 (W^t, H^t)에서 정의된 상한 함수 G(W,H|W^t,H^t)로, G는 J보다 항상 크거나 같고, G(W^t,H^t|W^t,H^t)=J(W^t,H^t) 를 만족한다. 따라서 G를 최소화하는 업데이트는 J를 보장된 방향으로 감소시킨다. 논문은 이 보조함수를 직교성 패널티 ‖W^{T}W−I‖_F^2 및 ‖H H^{T}−I‖_F^2와 결합해 구성한다.

구체적으로, NMF‑U의 경우 H에 대한 직교성 패널티만 포함하고, 업데이트식은
H←H⊙(W^{T}V) / (W^{T}WH + λ H (H^{T}H−I))
와 같이 유도된다. 여기서 ⊙는 원소별 곱, λ는 직교성 강도를 조절하는 하이퍼파라미터이다. NMF‑B는 W와 H 모두에 대해 동일한 형태의 업데이트를 동시에 적용한다. 논문은 각 업데이트가 보조함수의 최소화와 동등함을 수학적으로 증명하고, 이를 통해 전체 알고리즘이 J를 단조 감소시키며, 제한된 영역(비음수·직교성 교집합) 내에서 수렴한다는 정리를 제시한다.

수렴 증명은 크게 두 단계로 나뉜다. 첫째, 보조함수 G가 J의 상한임을 보이고, 둘째, G의 최소화가 각 반복에서 J를 감소시킨다는 점을 보인다. 보조함수의 구성은 Jensen’s inequality와 비음수성 유지 조건을 활용해 설계되었으며, 직교성 패널티 항은 2차 형태이므로 미분 후 양의 부분을 분리해 곱셈 형태로 변환할 수 있다. 또한, λ가 충분히 큰 경우 직교성 제약이 강제로 만족되며, λ가 작을 경우 비음수성에 더 중점을 둔 업데이트가 이루어진다.

실험에서는 합성 데이터와 실제 이미지 데이터(예: ORL 얼굴, CBCL 손글씨)를 사용해 NMF‑U와 NMF‑B의 수렴 속도, 최종 비용, 군집화 정확도를 평가한다. 비교 대상은 기존의 교대 최소제곱(ALS) 기반 직교 NMF와 단순 곱셈 업데이트 기반 비직교 NMF이다. 결과는 제안된 알고리즘이 동일한 초기값에서 더 빠르게 비용을 감소시키고, 최종 비용이 낮으며, 특히 바이-오쏘고날 모델이 군집화 정확도에서 현저히 우수함을 보여준다. 또한, λ를 변화시켜 직교성 강도를 조절함으로써 비음수성·직교성 간의 트레이드오프를 정량적으로 분석한다.

전반적으로 이 논문은 비음수성 유지와 직교성 강제라는 두 가지 어려운 제약을 동시에 만족시키는 알고리즘을 설계하고, 수학적 보조함수 기법을 통해 엄격한 수렴성을 확보했다는 점에서 의미가 크다. 특히, 기존 연구가 수렴 보장을 약하게 다루거나 경험적 파라미터 튜닝에 의존했던 반면, 여기서는 λ와 같은 하이퍼파라미터가 수렴 증명에 명시적으로 포함되어 있어 이론적 신뢰성을 높였다. 향후 연구에서는 더 복잡한 제약(예: 스파스성, 구조적 정규화)과 결합하거나, 대규모 데이터에 대한 병렬 구현을 탐색할 여지가 있다.