다차원 텐서 기반 공통·개별 특징 추출과 효율적 분류

본 논문은 현대 데이터 과학에서 대규모, 고차원, 다변량 데이터를 효율적으로 처리하기 위한 새로운 텐서 기반 공통·개별 특징 추출 방법을 제시한다. 저자들은 먼저 다블록 데이터 구조—동일 현상을 다양한 시간·각도·조건에서 관측한 여러 행렬들의 집합—를 텐서화함으로써 기존 행렬 기반 접근법이 직면하는 ‘키가 크고 얇은’ 구조의 비효율성을 극복한다. 텐서화는 데이터의 내재된 다중선형 관계를 그대로 보존하면서 저장 요구량을 크게 감소시킨다. 논문의 핵심 아이디어는 외적(vector outer product)과 텐서 분해에서 나타나는 랭크‑1 구조가 공통 특징을 나타내는 기본 행렬 \(Y = a\circ b\)와 동일하다는 점을 이용하는 것이다. 이를 바탕으로 전체 데이터 집합 \(X = \{X_n\}_{n=1}^N\)를 공통 서브스페이스 \(\bar A\)와 개별 서브스페이스 \(\tilde A_n\)로 명확히 분리한다. 기존 연구에서 주로 사용된 PCA 기반 행렬 분해는 모든 블록이 동일한 공통 정보를 가질 때만 유효하지만, 실제 데이터는 약한 공통성만을 포함한다. 따라서 저자들은 텐서 분해, 특히 LL1(Linear‑Linear‑1) 분해를 도입한다. LL1 분해는 텐서를 \(\sum_{k=1}^{K}(A_k B_k^{\top})\circ c_k\) 형태로 표현한다. 여기서 \(A_k\in\mathbb{R}^{O\times L_k}\), \(B_k\in\mathbb{R}^{P\times L_k}\)는 각각 모드‑1, 모드‑2의 factor matrix이며, \(c_k\in\mathbb{R}^{Q}\)는 모드‑3의 스칼라 가중치 벡터이다. 각 \(k\)에 대해 다중선형 랭크 \((L_k, L_k, 1)\)를 부여함으로써 CPD의 ‘one‑to‑one’ 관계와 HOSVD의 완전성을 동시에 활용한다. CPD는 각 랭크‑1 텐서가 고유한 factor vector 집합을 갖지만, 실제 데이터에서는 완전한 유일성이 보장되지 않는다. 반면 HOSVD는 모든 가능한 조합을 모델링해 유연성을 제공하지만, 해석이 복잡해진다. LL1은 각 \(k\)에 대해 다중선형 랭크 \((L_k, L_k, 1)\)를 부여해, \(A_k\)와 \(B_k\)는 다차원 구조를 유지하면서도 \(c_k\)는 스칼라 가중치 역할을 수행한다. 결과적으로 공통 특징은 \(Y_k = A_k B_k^{\top}\)에 의해 캡처되고, 개별 특징은 원본 텐서에서 해당 공통 부분을 빼는 \(\tilde X_n = X_n - \bar X_n\) 연산으로 얻어진다. 또한, 이미지와 같이 물리적 의미가 중요한 데이터에 대해 비음수 제약을 도입한다. \(c_k\)가 색상 강도나 밝기와 같은 양을 나타내므로, 이를 음수가 되지 않도록 제한함으로써 물리적 해석 가능성을 보장한다. 비음수 제약은 ALS 기반의 교대 최소제곱(ALS‑CPD) 절차에 Non‑Negative Least Squares(NNLS) 서브루틴을 삽입해 구현한다. 알고리즘 1은 각 반복 단계에서 (1) 현재 \(k\)를 제외한 나머지 텐서 성분을 차감하고, (2) Khatri‑Rao와 Hadamard 연산을 이용해 \(A_k\)와 \(B_k\)를 업데이트하며, (3) NNLS를 통해 \(c_k\)를 비음수로 추정한다. 마지막으로 각 factor를 정규화하고 스케일링 벡터 \(\lambda_k\)에 저장한다. 실험에서는 ORL 얼굴 이미지 데이터셋(총 400장, 40명, 10가지 조명·표정)을 사용한다. 10개의 블록을 무작위로 구성하고, 각 블록을 \(112\times92\times40\) 텐서로 쌓는다. LL1 분해와 비음수 제약을 적용해 공통 특징(예: 평균 얼굴 형태)과 개별 특징(개인별 세부 구조)을 시각적으로 확인하였다. 추출된 공통 특징은 모든 인물에 공통된 윤곽과 조명 패턴을, 개별 특징은 각 인물의 고유한 눈, 코, 입 형태를 강조한다. 이후, 공통 특징을 제외한 개별 특징을 이용해 SVM, 인공신경망(NN), 쿼드러플 디스턴스(QD), 그리고 커스텀 KNN(cKNN) 분류기에 학습시켰다. 결과는 기존 행렬 기반 PCA 혹은 CPD만 사용한 경우 대비 평균 5~10%p의 정확도 향상을 보였으며, 특히 비음수 제약을 적용했을 때 잡음에 대한 강인성이 크게 증가했다. 차원 축소 후에도 중요한 변별 정보를 보존함으로써 ‘차원의 축복(blessing of dimensionality)’을 실증하였다. 논문의 주요 기여는 다음과 같다. 첫째, 다블록 데이터를 텐서화해 고차원 데이터의 저장·연산 효율성을 획기적으로 개선하였다. 둘째, 외적 연산과 텐서 랭크 사이의 수학적 연결 고리를 이용해 공통·개별 서브스페이스를 명시적으로 분리하는 이론적 프레임워크를 제시했다. 셋째, LL1 분해와 비음수 제약을 결합해 물리적 의미를 유지하면서도 높은 분류 성능을 달성했다. 넷째, ORL 얼굴 데이터셋을 통한 실험으로 제안 방법의 실용성을 입증하였다. 향후 연구에서는 (1) 고차원 바이오시그널(EEG, fMRI) 및 멀티스펙트럼 원격탐사 영상에 대한 적용, (2) 비음수 제약 외에 스파스성(sparsity)이나 구조적 제약을 추가한 확장, (3) 온라인/스트리밍 환경에서의 실시간 텐서 업데이트 알고리즘 개발 등을 제안한다. 이러한 방향은 대규모 다차원 데이터 분석에서 공통·개별 정보를 효율적으로 분리하고, 차원의 저주를 극복하며, 실제 응용 분야에 바로 적용 가능한 강력한 도구가 될 것으로 기대된다.