대규모 결측 텐서 분해를 위한 CPWOPT 알고리즘

초록

본 논문은 결측값이 다수 포함된 다차원 배열을 CANDECOMP/PARAFAC(CP) 모델로 분해하는 새로운 방법인 CPWOPT을 제안한다. 가중치가 부여된 최소제곱 문제를 1차 최적화 기법으로 풀어, 99%까지의 결측률과 대규모 희소 텐서(예: 1000³, 알려진 원소 0.5% 수준)에서도 효율적으로 작동함을 실험을 통해 입증한다. 또한 EEG 전극 탈락 및 네트워크 트래픽 데이터 복원 등 실제 응용 사례에서도 유용성을 확인한다.

상세 분석

본 연구는 다차원 데이터에서 결측값을 무시하고 분석하는 전통적 접근법의 한계를 극복하고자, CP 분해를 가중치 기반 최소제곱 형태로 재정의한다. 알려진 원소에만 1, 결측 원소에 0을 부여한 가중치 텐서를 도입함으로써, 손실 함수는 실제 관측값만을 대상으로 하는 가중치 최소제곱 문제가 된다. 이 문제를 해결하기 위해 저자들은 1차 미분 정보만을 활용하는 비선형 최적화 기법인 L-BFGS와 같은 제한된 메모리 BFGS 변형을 적용한다. 이러한 접근은 Hessian 계산이 필요 없는 대신, 그래디언트 계산을 효율적으로 수행할 수 있어 메모리와 연산량이 크게 절감된다. 특히, 텐서가 희소한 경우(예: 전체 원소 대비 알려진 원소가 0.5% 이하)에는 가중치 텐서를 압축 저장하고, 그래디언트 연산을 알려진 원소 집합에만 제한함으로써 스케일러빌리티를 확보한다.

실험에서는 합성 데이터와 실제 EEG·네트워크 트래픽 데이터를 대상으로 복원 정확도와 실행 시간을 비교한다. 99% 결측률에서도 평균 제곱 오차가 낮게 유지되며, 기존 EM 기반 CP-ALS나 인코딩 기반 CP-OPT와 비교해 동일 혹은 더 나은 성능을 보인다. 특히 1000×1000×1000 규모의 텐서에 대해 5백만 개의 알려진 원소만을 사용했을 때, 메모리 사용량이 수 GB 수준에 머물면서도 수십 분 내에 수렴한다.

응용 사례에서는 EEG 실험에서 전극 탈락으로 인한 결측 구간을 복원함으로써 뇌파 패턴 분석의 연속성을 확보했고, 네트워크 트래픽에서는 비용 절감을 위해 일부 라우터의 측정값을 의도적으로 누락시킨 뒤 CPWOPT으로 재구성해 트래픽 흐름을 정확히 예측하였다. 이러한 결과는 CPWOPT이 결측이 빈번한 바이오신호 및 대규모 네트워크 데이터에 실용적인 솔루션임을 시사한다.