정규화된 비음수 행렬분해를 활용한 새로운 클러스터링 알고리즘

초록

**
본 논문은 정규 직교 비음수 행렬분해(ONMF)와 가중치가 부여된 구형 k‑means 사이의 수학적 동등성을 밝혀 두 가지 새로운 ONMF 해법을 제시한다. 첫 번째는 EM‑유사 알고리즘이며, 두 번째는 직교성을 매 단계 강제하고 비음수성을 점차 확보하는 증강 라그랑주 방법이다. 실험 결과, 제안된 두 알고리즘은 기존 ONMF 기법보다 합성 데이터, 텍스트 및 이미지 데이터셋에서 우수한 군집 성능을 보인다.

**

상세 분석

**
ONMF는 비음수성(nonnegativity)과 직교성(orthogonality)이라는 두 가지 제약을 동시에 만족시키는 행렬분해 기법으로, 특히 군집화 작업에서 데이터의 해석 가능성을 높이는 장점이 있다. 기존 연구에서는 비음수성은 직접적으로 유지하면서 직교성을 페널티 항이나 점진적 수렴을 통해 달성하는 방식이 주를 이루었다. 그러나 이러한 접근법은 직교성 확보가 늦어지거나, 페널티 파라미터 조정이 복잡해지는 단점이 존재한다.

본 논문은 먼저 ONMF와 가중치가 부여된 구형 k‑means(Weighted Spherical k‑means) 사이의 정확한 수학적 동등성을 증명한다. 구형 k‑means는 데이터 포인트를 단위 구면 위에 정규화한 뒤 코사인 유사도로 군집을 형성하는 방법이며, 가중치를 도입함으로써 각 클러스터 중심의 크기를 조절한다. 이 동등성은 ONMF의 목적함수를 구형 k‑means의 비용함수와 일대일 대응시켜, 두 문제를 동일한 최적화 문제로 변환한다는 의미이다. 따라서 EM‑스타일 알고리즘을 적용해 기대 단계(E‑step)에서 클러스터 할당을, 최대화 단계(M‑step)에서 중심 벡터를 업데이트하면 ONMF를 효율적으로 풀 수 있다.

두 번째 제안은 증강 라그랑주(augmented Lagrangian) 기반의 최적화 프레임워크이다. 여기서는 직교성 제약을 라그랑주 승수와 이차 페널티 항을 이용해 매 반복마다 정확히 만족하도록 설계한다. 비음수성은 변수에 대한 하드 제약 대신, 비음수 위반 정도를 제곱형 페널티로 처리한다. 이 방식은 초기 단계에서 비음수성이 완전히 충족되지 않더라도, 페널티 파라미터를 점진적으로 증가시켜 최종적으로 비음수성을 확보한다는 점에서 기존 방법과 근본적으로 다르다. 또한, 직교성 강제는 각 반복마다 정규 직교 행렬을 얻기 위해 QR 분해나 고유값 분해를 활용할 수 있어 수치적 안정성이 높다.

알고리즘 수렴성 측면에서, EM‑유사 방법은 기존 k‑means와 동일하게 목적함수가 비증가함을 보장한다. 증강 라그랑주 방법은 라그랑주 승수와 페널티 파라미터의 적절한 업데이트 규칙을 통해 KKT 조건에 수렴함을 증명한다. 실험에서는 두 알고리즘 모두 합성 데이터에서 클러스터 재현율과 정밀도가 기존 ONMF 변형보다 현저히 개선되었으며, 텍스트 데이터(20 Newsgroups)와 이미지 데이터(CIFAR‑10)에서도 군집 품질과 실행 시간 면에서 경쟁력을 보였다. 특히, 직교성을 엄격히 유지하면서 비음수성을 점진적으로 확보하는 증강 라그랑주 방식은 고차원 희소 데이터에서 과적합을 방지하고 해석 가능한 군집 중심을 제공한다는 장점이 강조된다.

이러한 분석을 종합하면, ONMF와 구형 k‑means의 동등성 활용은 알고리즘 설계에 새로운 시각을 제공하고, 증강 라그랑주 기반의 직교성‑우선 접근법은 기존 비음수성‑우선 전략의 한계를 극복한다는 점에서 학술적·실용적 의의가 크다.

**