다목적 비음수 텐서 분해를 위한 이젠스텝 곱셈 업데이트

초록

NNEinFact은 einsum 문자열만으로 비음수 텐서 분해 모델을 정의하고, 다양한 (α,β)‑다양성 손실을 최소화하는 곱셈 업데이트 알고리즘을 제공한다. 주요 이점은 구현이 3줄 수준으로 간단하고, 결측치를 지원하며, 수백만 차원의 텐서에서도 수초 내에 수렴한다는 점이다. 실험에서는 맞춤형 모델이 기존 CP·Tucker 대비 37 % 이상의 예측 성능 향상을 보였으며, 자동 미분 기반 최적화보다 90배 빠르게 수렴했다.

상세 분석

본 논문은 비음수 텐서 분해를 일반화된 einsum 형태로 재구성하고, 이를 기반으로 곱셈 업데이트 규칙을 도출한다. 핵심 아이디어는 손실 함수 L(y,ŷ) 를 주요화‑최소화(Majorization‑Minimization, MM) 프레임워크 안에서 상한 함수 Q(Θ|Θ⁽ᵗ⁾) 로 근사한 뒤, Q 를 Θ에 대해 닫힌 형태로 최소화함으로써 각 파라미터 텐서에 대한 비음수 곱셈 업데이트를 얻는 것이다. 이 과정에서 (α,β)‑다양성 손실, KL, IS, Hellinger 등 20여 종류의 손실을 동일한 수식으로 포괄한다. 업데이트는 세 번의 einsum 연산과 원소별 나눗셈·곱셈만으로 구현되며, GPU/CPU 가속에 최적화된 PyTorch einsum을 그대로 활용한다.

수렴 이론은 Q 함수가 현재 파라미터에서 손실과 일치하고, Q 가 Θ에 대해 볼록함을 이용해 “손실은 매 반복마다 감소한다”는 보장을 제공한다. 또한, 파라미터가 0에 수렴하는 경우를 방지하기 위해 작은 ε를 더해 수치적 안정성을 확보한다.

알고리즘의 유연성은 모델 문자열만 바꾸면 CP, Tucker, Tensor‑Train, 그리고 사용자가 정의한 복합 구조까지 즉시 적용 가능하도록 설계되었다. 관측 모드와 수축 모드를 자유롭게 지정할 수 있어, 예를 들어 i c, j c, a d, dc 와 같은 맞춤형 인덱싱도 지원한다. 결측치는 마스크 텐서를 곱해 손실과 업데이트에 자동 제외한다.

실험에서는 3가지 실제 데이터셋(소셜 네트워크, 교통 흐름, 바이오 메트릭스)에서 표준 CP·Tucker 구현과 비교했다. NNEinFact은 동일 하드웨어에서 평균 0.8 초 내에 수렴했으며, 자동 미분 기반 Adam 최적화는 30 초 이상 걸렸다. 손실 측면에서는 맞춤형 모델이 기존 모델 대비 37 %~52 % 낮은 테스트 손실을 기록했고, 특히 희소하고 불완전한 텐서에서 그 차이가 크게 나타났다.

추가로 rideshare 픽업 데이터에 적용한 사례 연구에서는 시간‑지역‑요인 3모드 텐서를 비음수 Tucker‑형식으로 분해해, 출퇴근 피크와 이벤트 발생 시점의 공간적 패턴을 직관적으로 시각화하였다. 이는 도메인 전문가가 모델 결과를 해석하고 정책에 반영하는 데 유용함을 보여준다.

전반적으로 NNEinFact은 “모델 정의 ↔ 알고리즘 구현” 사이의 격차를 최소화하고, 대규모 비음수 텐서 분석을 실용적인 수준으로 끌어올린 혁신적 도구라 할 수 있다.