대규모 텐서 분해를 위한 네 알고리즘 비교 연구

이 논문은 고차원 텐서 분석에서 핵심적인 역할을 하는 네 가지 분해 알고리즘—HO‑SVD, HOOI, Slice Projection(SP), Multislice Projection(MP)—의 성능을 체계적으로 비교한다. 서론에서는 SVD가 2차원 행렬에 한정된 반면, 실제 데이터는 종종 3차원 이상(예: term‑document‑author, user‑item‑time 등)으로 표현된다는 점을 강조하고, 이러한 고차원 구조를 효과적으로 다루기 위한 텐서 분해의 필요성을 제시한다. 2절에서는 텐서 분해가 적용되는 다양한 분야(정보 검색, 협업 필터링, 자연어 처리, 컴퓨터 비전 등)를 소개하며, 특히 기존 SVD 기반 방법이 무시하고 있던 모드들을 포함시키면 의미 있는 성능 향상이 기대된다고 논한다. 3절에서는 텐서 표기법과 기본 연산(모드‑곱, 매트리시제이션, Tucker 분해)을 정리한다. Tucker 모델은 핵심 텐서(G)와 각 모드별 직교 행렬(A⁽ⁿ⁾)의 곱으로 원본 텐서를 근사하며, 본 논문의 네 알고리즘 모두 이 틀을 기반으로 한다. 4절에서는 네 알고리즘의 구체적 절차를 제시한다. HO‑SVD는 각 모드에 대해 SVD를 수행해 직교 행렬을 얻고, 코어를 직접 계산한다. HOOI는 HO‑SVD를 초기값으로 삼아 교번 최적화(ALS) 과정을 통해 코어와 행렬을 반복적으로 업데이트한다. SP는 텐서를 슬라이스(예: X::k) 단위로 나누어 각 슬라이스에 대해 저차원 투영을 수행하고, 결과를 합쳐 코어와 행렬을 추정한다. MP는 SP를 확장해 여러 슬라이스를 동시에 스트리밍 처리함으로써 메모리 사용을 최소화하면서도 전역적인 최적화를 달성한다. 5절에서는 실험 설계와 결과를 상세히 보고한다. 첫 번째 실험군은 무작위 희소 3차 텐서를 크기별로 증가시켜 알고리즘의 시간·메모리·적합도 스케일링을 측정한다. 결과는 HO‑SVD와 HOOI가 메모리 사용량이 급증해 10⁸ 원소 이상에서는 실행이 불가능함을 보여준다. 반면 SP와 MP는 디스크 기반 구현으로 RAM 사용을 수십 MB 수준으로 유지했으며, MP가 SP보다 10‑20 % 빠른 실행 시간을 기록했다. 두 번째 실험군은 코어 크기 비율(예: 1:1:1, 1:2:4, 1:4:16 등)의 불균형이 적합도에 미치는 영향을 조사한다. HOOI는 비율 변화에 크게 민감하지 않지만, SP는 비율이 크게 불균형할 때 적합도가 급격히 감소한다. MP는 이러한 불균형에도 비교적 안정적인 적합도를 유지한다. 세 번째 실험군은 4차 텐서(예: term‑document‑author‑year)로 확장해 코어 크기와 입력 텐서 크기의 비율을 변동시킨다. 여기서도 네 알고리즘의 순위는 변하지 않으며, HOOI가 최고 적합도, MP가 그 다음, SP, HO‑SVD 순이다. 네 번째 실험은 실제 언어학 데이터(단어‑패턴‑단어 텐서)를 사용해 TOEFL 동의어·유추 문제 해결에 적용한다. HOOI와 MP는 모두 인간 수준에 근접한 정확도를 보였으며, 특히 MP는 메모리 사용을 2 GB 이하로 제한하면서도 HOOI와 거의 동일한 성능을 달성했다. 6절에서는 종합적인 논의를 통해 알고리즘 선택 가이드를 제시한다. 시간·공간·정확도 사이에는 명확한 트레이드오프가 존재한다. 작은 텐서(수백 MB 이하)에서는 HOOI가 가장 높은 적합도를 제공하므로 권장된다. 반면 수십 GB 이상의 대규모 텐서에서는 메모리 제한이 핵심이므로 MP가 실용적이며, SP는 메모리와 시간 모두에서 MP보다는 열등하지만 구현이 간단해 프로토타입 단계에서 활용 가능하다. HO‑SVD는 구현이 가장 단순하지만, 정확도와 스케일링 모두에서 뒤처진다. 결론적으로, 텐서 분해를 실제 시스템에 적용할 때는 데이터 규모와 가용 메모리를 기준으로 HOOI와 MP 중 하나를 선택하는 것이 최적의 성능‑자원 균형을 제공한다는 점을 강조한다.