비가우시안 잡음에 강한 텐서 분해 방법

초록

본 논문은 전통적인 CP 텐서 분해가 가우시안 잡음 가정 하에 최소제곱 손실을 사용함으로써 비가우시안, 특히 거친 잡음에 취약함을 지적한다. 이를 해결하기 위해 1‑노름 기반 손실 함수를 제안하고, 교대형 메이저라이제이션‑미니마이제이션(majorization‑minimization) 알고리즘을 설계하여 CP 모델을 안정적으로 추정한다. 실험을 통해 제안 방법이 기존 LS 기반 방법보다 비가우시안 잡음 상황에서 월등히 높은 복원 정확도를 보임을 확인한다.

상세 요약

CP(칸데컴/파라팩) 텐서 분해는 다차원 데이터의 저차원 구조를 파악하는 핵심 도구로, 대부분의 구현이 i.i.d. 가우시안 잡음을 전제로 한 최소제곱(LS) 손실을 최소화한다. 그러나 실제 센서 데이터, 이미지, 신호 처리 등에서는 급격한 이상치, 스파이크 잡음, 결측값 등 비가우시안 특성을 가진 노이즈가 흔히 발생한다. LS 손실은 제곱항 때문에 큰 오차에 과도하게 가중치를 부여해, 소수의 이상치가 전체 파라미터 추정에 큰 왜곡을 일으킨다. 이 논문은 이러한 문제점을 정량적으로 분석하고, 1‑노름(ℓ₁) 손실이 이상치에 대해 선형적인 영향을 주어 보다 견고한 추정을 가능하게 함을 이론적으로 제시한다. ℓ₁ 손실은 가우시안 잡음에 대해서도 최적이진 아니지만, 가우시안과 비가우시안 잡음이 혼합된 상황에서 평균 제곱오차보다 작은 평균 절대오차를 제공한다.

알고리즘적 측면에서 저자는 교대형 메이저라이제이션‑미니마이제이션(AM‑MM) 프레임워크를 도입한다. 각 모드(행렬)의 업데이트는 현재 고정된 다른 모드들을 이용해 서브문제를 정의하고, 해당 서브문제는 ℓ₁ 손실의 비선형성을 완화하기 위해 상수와 가중치를 포함한 상한 함수(majorizer)로 근사한다. 이 상한 함수는 원래 목적함수보다 항상 크면서 현재 추정값에서 접선 형태를 가지므로, 그 최소화는 원함수의 감소를 보장한다. 각 단계는 닫힌 형태의 가중치 업데이트와 선형 시스템 해결로 구성되어 계산 복잡도가 기존 ALS(Alternating Least Squares)와 비슷하거나 약간 높은 수준에 머문다. 수렴성은 MM 이론에 의해 보장되며, 전역 최소점이 아니라 지역 최소점에 수렴한다는 점은 초기화에 민감함을 내포한다.

실험에서는 합성 텐서에 가우시안 잡음, 스파이크 잡음, 혼합 잡음 등을 가해 LS 기반 ALS와 제안된 ℓ₁‑MM을 비교한다. 결과는 ℓ₁‑MM이 특히 스파이크 잡음 비율이 10% 이상일 때 재구성 오차가 30% 이상 감소함을 보여준다. 실제 데이터셋(예: EEG, 영상 색상 히스토그램)에서도 동일한 경향이 관찰되어, 비가우시안 잡음에 대한 강인성이 실용적인 이점을 제공함을 확인한다.

이 논문의 핵심 기여는 (1) LS 손실의 비가우시안 민감성을 정량화, (2) ℓ₁ 손실 기반 메이저라이제이션‑미니마이제이션 알고리즘을 설계, (3) 다양한 잡음 모델에서의 실험적 검증이다. 다만, ℓ₁ 손실이 가우시안 잡음에 대해 최적이 아니므로 순수 가우시안 상황에서는 약간의 성능 저하가 발생한다. 또한, MM 프레임워크는 초기값에 크게 의존하므로, 스마트한 초기화 전략이나 다중 시작 기법이 필요할 수 있다. 향후 연구는 가우시안과 비가우시안 잡음을 동시에 모델링하는 혼합 손실, 그리고 스파스 정규화와 결합한 확장 모델을 탐색하는 방향으로 진행될 전망이다.