다인턱커 수십억 요소 다차원 배열에서 가우시안 프로세스 모델 확장

초록

**
다인턱커(DIN‑TUCKER)는 무한 Tucker 분해와 같은 비선형 텐서 모델을 MAP‑REDUCE 환경에 맞게 계층적 베이지안 구조로 재구성하고, 분산 확률적 경사 하강법과 변분 추론을 결합해 빅데이터 규모(수십억 원소)에서도 높은 예측 정확도와 빠른 학습을 실현한다.

**

상세 분석

**
본 논문은 기존 무한 Tucker(InfTucker)와 랜덤 함수 사전 모델이 갖는 비선형 표현력은 뛰어나지만, 전체 텐서를 하나의 전역 가우시안 프로세스(GP)로 모델링하면서 발생하는 거대한 공분산 행렬의 크래시와 메모리 요구량 때문에 대규모 데이터에 적용하기 어렵다는 근본적인 한계를 짚는다. 이를 해결하기 위해 저자들은 두 단계의 핵심 설계를 제안한다. 첫 번째는 텐서를 N개의 서브 텐서로 분할하고, 각 서브 텐서를 독립적인 로컬 GP로 모델링하는 계층적 베이지안 프레임워크이다. 로컬 GP는 각 서브 텐서에 대한 공분산 행렬이 작아지므로 크래시가 사라지고, Kronecker 구조를 이용한 효율적인 연산이 가능해진다. 두 번째는 로컬 GP의 잠재 요인 ˜Uⁿ을 전역 잠재 요인 U와 정규분포(λI)로 연결하는 사전(p(˜Uⁿ|U))을 도입해, 서로 다른 노드에서 학습된 로컬 파라미터가 전역 파라미터를 통해 일관성을 유지하도록 만든 점이다. 이 구조는 “additive” 형태의 로그우도에 대해 자연스럽게 분산 변분 EM을 적용할 수 있게 한다.

학습 알고리즘은 변분 EM의 E‑step에서 이진 관측에 대해 데이터 증강(잠재 연속 변수 Z)을 도입해 변분 분포 q(Z), q(M)를 업데이트하고, M‑step에서는 두 단계의 SGD를 수행한다. MAP 단계에서는 각 서브 텐서별 ˜Uⁿ을 미니배치 형태로 순차 처리하며, 그라디언트는 로컬 GP의 기대 로그우도와 정규 사전의 L2 손실을 결합한다. REDUCE 단계에서는 모든 ˜Uⁿ을 평균하여 전역 U를 업데이트한다(식 11). 이 과정은 Hadoop의 Map‑Reduce 작업에 그대로 매핑될 수 있어, 클러스터 수천 대에 걸친 거의 선형 스케일링을 보인다.

복잡도 분석에서는 기존 InfTucker가 O(∑ₖ mₖ³ + m·∏ₖ mₖ) 로 차원에 대해 3차 이상 성장하는 반면, DIN‑TUCKER는 서브 텐서 차원 mₖ′에 대해 O(∑ₖ (mₖ′)³) 로 제한되며, mₖ′≪mₖ이므로 실질적인 시간·메모리 절감이 가능함을 입증한다. 실험에서는 “Read the Web” 지식베이스와 기업 로그 데이터(수십억 엔트리)를 대상으로 GigaTensor와 비교했으며, 예측 정확도(AUC)에서 평균 12%p 상승, 학습 시간은 2배 이상 단축되는 결과를 얻었다.

이러한 설계는 (1) 비선형 관계를 포착하는 GP 기반 텐서 모델을 대규모 분산 환경에 적용, (2) 변분 EM과 SGD를 결합해 온라인·스트리밍 데이터에도 대응, (3) 기존 선형 텐서 분해(GigaTensor)의 한계를 넘어 이진·카운트·연속형 데이터 모두를 자연스럽게 처리한다는 점에서 의미가 크다. 다만, 서브 텐서 분할 전략과 λ 하이퍼파라미터 선택이 모델 성능에 민감할 수 있으며, 변분 근사의 정확도와 SGD 수렴 속도에 대한 이론적 보장은 향후 연구가 필요하다.

**