희소성 정규화 기반 강인 클러스터링

초록

본 논문은 데이터에 드물게 존재하는 이상치(아웃라이어)를 희소성으로 모델링하고, 이를 정규화 항으로 활용한 강인(K-평균 및 GMM) 클러스터링 알고리즘을 제안한다. 블록 좌표 하강법을 이용해 수렴을 보장하면서도 기존 비강인 알고리즘과 비슷한 계산 복잡도를 유지한다. 또한 커널 기법을 도입해 고차원 및 비선형 데이터에도 적용 가능하도록 확장하였다. 실험 결과, 제안 방법이 합성·실제 데이터 모두에서 기존 방법보다 이상치에 대한 견고성을 크게 향상시킴을 확인하였다.

상세 분석

이 논문은 기존 K‑means와 Gaussian Mixture Model(GMM) 기반 클러스터링이 유클리드 거리 혹은 로그우도에 직접 의존함으로써 소수의 이상치에도 크게 왜곡되는 문제점을 정확히 진단한다. 저자는 이상치를 “아웃라이어 벡터 oₙ”이라는 추가 변수로 명시적으로 도입하고, 대부분의 oₙ이 영(0)이라는 가정을 통해 희소성(sparsity) 구조를 부여한다. 이때 ℓ₀‑노름을 직접 최소화하는 것이 NP‑hard함을 인정하고, 대신 ℓ₁‑노름으로 완화한 정규화 항 λ∑ₙ‖oₙ‖₂를 도입한다. 이렇게 하면 문제는 (M, O) 에 대해 볼록(convex)해지지만, 전체 변수 (M, O, U) 에 대해서는 여전히 비볼록성을 유지한다.

저자는 블록 좌표 하강법(Block Coordinate Descent, BCD)을 채택해 세 변수 집합을 순차적으로 최적화한다. ① 고정된 할당 행렬 U에 대해 M과 O를 업데이트할 때, O는 그룹 라쏘(group‑Lasso) 형태가 되며, 각 oₙ은 ‖·‖₂‑패널티에 의해 자동으로 0이 되거나 전체 벡터 형태로 비제로가 된다. ② U를 업데이트할 때는 K‑means의 경우 하드 할당(0‑1 제약) 혹은 소프트 할당(0≤uₙc≤1, ∑c uₙc=1)으로 전환한다. ③ GMM 확장에서는 EM 알고리즘의 E‑스텝에서 posterior γₙc를 계산하고, M‑스텝에서 M, O, Σ를 정규화된 로그우도와 ℓ₁‑패널티를 동시에 최소화한다.

알고리즘 복잡도 분석에 따르면, 각 이터레이션에서 수행되는 연산은 기존 K‑means 혹은 EM과 동일한 차수(O(N C p))이며, 추가적인 라쏘 해석은 폐쇄형 해(soft‑thresholding)로 구현돼 실질적인 오버헤드가 거의 없다.

커널화는 입력 데이터를 고차원 특징 공간 Φ(·) 로 매핑하고, 모든 거리·내적 연산을 커널 함수 K(xᵢ,xⱼ)=⟨Φ(xᵢ),Φ(xⱼ)⟩ 로 대체함으로써 구현된다. 이때 이상치 벡터 oₙ 역시 특징 공간에서 동일하게 취급되며, 그룹 라쏘 해는 커널 행렬 기반으로 수행된다. 따라서 비선형적으로 구분되는 클러스터나, 이미지, 그래프 등 벡터 형태가 아닌 객체에도 적용 가능하다.

실험에서는 2‑D 합성 데이터, MNIST 손글씨, 소셜 네트워크 연결 행렬 등 다양한 도메인을 사용했다. 특히 5 % 수준의 랜덤 이상치를 삽입했을 때, 제안된 강인 K‑means와 강인 GMM은 클러스터 정확도와 평균 제곱 오차에서 기존 방법보다 10 %~30 % 이상 향상되었다. 커널 버전은 비선형 클러스터를 정확히 복원하면서도 이상치 탐지율을 높은 수준으로 유지했다.

전체적으로 이 논문은 압축 센싱(compressive sensing)에서 영감을 얻은 “희소성‑정규화” 아이디어를 클러스터링에 성공적으로 적용했으며, 수학적 엄밀성(수렴 보장, 복잡도 분석)과 실용성(폐쇄형 업데이트, 커널 확장)을 동시에 제공한다는 점에서 의미가 크다.