효율적인 비음수 텐서 분해: 알고리즘과 유일성

본 논문은 비음수 텐서 분해(NTD)가 고차원 데이터에서 부분 기반(part‑based) 표현과 물리적 의미를 보존하는 데 강점이 있음에도 불구하고, 다중 모드와 대규모 텐서에 적용할 경우 메모리와 연산량이 급격히 증가한다는 실질적인 문제점을 제기한다. 기존 NTD 알고리즘은 비음수 제약을 만족시키기 위해 NMF 기반의 업데이트 규칙을 텐서 형태에 그대로 적용했지만, 이는 텐서 전체를 반복적으로 접근해야 하므로 O(𝑅ₙ∏ₙ𝐼ₙ) 수준의 복잡도를 초래한다. 이를 극복하기 위해 저랭크 근사(Low‑rank Approximation, LRA)를 두 단계 프로세스로 도입한다. 첫 번째 단계에서는 HOSVD, randomized SVD, 또는 기존 Tucker‑ALS와 같은 방법을 이용해 원본 텐서 𝒴∈ℝ^{I₁×…×I_N}를 저차원 텐서 𝒴̃=𝒢̃×ₙĀ⁽ⁿ⁾ 로 근사한다. 여기서 각 Ā⁽ⁿ⁾∈ℝ^{Iₙ×𝑅̃ₙ}는 𝑅̃ₙ≪𝐼ₙ인 저랭크 팩터이며, 𝒢̃∈ℝ^{𝑅̃₁×…×𝑅̃_N}는 핵심 텐서이다. LRA는 데이터의 잡음 성분을 억제하고, 저장 요구량을 Pₙ(𝑅̃ₙ𝐼ₙ)+Qₙ𝑅̃ₙ 로 크게 감소시킨다. 예를 들어, N=4, 𝐼ₙ=100, 𝑅̃ₙ=10인 경우 메모리 사용량은 원본 대비 0.014% 수준이다. 두 번째 단계에서는 비음수와 희소성을 유지하면서 𝒴̃에 대해 NTD를 수행한다. 최적화 목표는  D_NTD = ½‖𝒴̃ − 𝒢×ₙA⁽ⁿ⁾‖_F² s.t. 𝒢≥0, A⁽ⁿ⁾≥0 이며, 블록 좌표 하강법(Block Coordinate Descent)으로 각 팩터 행렬 A⁽ⁿ⁾와 핵심 텐서 𝒢를 교대로 업데이트한다. 그래디언트는  ∂D/∂A⁽ⁿ⁾ = A⁽ⁿ⁾B⁽ⁿ⁾ᵀB⁽ⁿ⁾ − Y⁽ⁿ⁾B⁽ⁿ⁾, B⁽ⁿ⁾ = (⊗_{p≠n}Ā⁽ᵖ⁾)𝒢̃⁽ⁿ⁾ᵀ  ∂D/∂𝒢 = (×ₙA⁽ⁿ⁾ᵀ)𝒢 − (×ₙA⁽ⁿ⁾ᵀ)𝒴̃ 와 같이 저차원 연산만으로 계산된다. 이때 B⁽ⁿ⁾와 F(=⊗ₙA⁽ⁿ⁾)의 차원은 𝑅̃ₙ에 의해 제한되므로, 기존 O(𝑅ₙ∏ₙ𝐼ₙ) 복잡도는 O(𝑅̃ₙ∑ₙ𝐼ₙ) 로 크게 감소한다. 그래디언트 기반의 다양한 일階 최적화 기법을 그대로 적용할 수 있다. - MU(Multiplicative Update): 비음수 유지와 스텝 사이즈 자동 조정을 제공하지만 수렴 속도가 느릴 수 있다. - HALS(Hierarchical ALS): 각 컬럼을 순차적으로 최적화해 메모리 접근을 최소화하고, 수렴이 빠르다. - APG(Accelerated Proximal Gradient): Nesterov 가속을 도입해 이론적 수렴 속도가 O(1/k²)이며, 스텝 사이즈를 라인서치 없이 추정한다. 논문은 또한 비음수와 희소성 제약이 유일성에 미치는 영향을 정량적으로 분석한다. 핵심 텐서 𝒢가 충분히 희소하고, 각 팩터 행렬이 비음수이며 최소 하나의 모드에서 열 독립성을 만족하면, Tucker 형태의 분해는 거의 유일하게 된다. 이는 기존 Tucker 분해가 차원 저주와 비유일성 문제에 취약한 점을 보완한다. 특히, 비음수 제약이 자연스럽게 희소성을 유도하므로, 핵심 텐서의 비제로 원소 수가 전체 원소 대비 매우 작을 경우(예: 5% 이하) 유일성 보장이 강화된다. 실험에서는 합성 데이터와 실제 데이터(PIE 얼굴 이미지, 비디오 시퀀스, fMRI 볼륨)를 사용하였다. 저랭크 근사 후 NTD를 수행한 경우, 메모리 사용량은 원본 대비 1~2% 수준으로 감소하고, 실행 시간은 평균 5~10배 가량 단축되었다. 재구성 오차(PSNR, RMSE)는 기존 NTD와 동등하거나 잡음이 많은 상황에서는 오히려 개선되었다. 특히, 잡음 레벨이 20 dB 이하일 때 LRA가 잡음 성분을 효과적으로 제거해 안정적인 분해 결과를 제공한다. 또한, 비음수·희소성 제약을 적용한 경우, 핵심 텐서와 팩터 행렬의 sparsity 비율이 70% 이상으로 증가했으며, 이는 해석 가능성을 크게 높였다. 결론적으로, 저랭크 근사를 전처리 단계로 도입함으로써 NTD의 계산 복잡도를 실질적으로 낮추고, 비음수·희소성 제약을 통해 유일성을 강화한 것이 본 논문의 핵심 기여이다. 향후 연구 방향으로는 동적 LRA 업데이트(분해 중간에 저랭크 근사 재계산), 비선형 제약(예: 정규화, 그룹 스파스성), 그리고 분산/GPU 기반 구현을 통한 초대규모 텐서 처리 등이 제시된다.