효율적인 텐서 커널로 희소 회귀 구현하기

초록

본 논문은 텐서 커널 기반 ℓp‑정규화 회귀에서 발생하는 메모리·연산 부담을 완화하기 위해 두 가지 기법을 제안한다. 첫째, 텐서 데이터를 압축·연속 저장할 수 있는 새로운 메모리 레이아웃을 설계하여 저장량을 크게 줄인다. 둘째, Nyström 샘플링을 적용해 학습에 사용되는 데이터 포인트 수를 감소시켜 시간 복잡도를 낮춘다. 제안 방법을 합성·실제 데이터셋에 적용하고 C++ 구현을 통해 실험 결과를 검증하였다.

상세 분석

이 연구는 기존 텐서 커널이 ℓp‑정규화(p = m/(m‑1), m 짝수) 문제를 풀어 Lasso와 유사한 희소성을 제공하지만, 텐서 차원 증가에 따라 메모리 요구량이 기하급수적으로 폭발한다는 근본적인 한계를 지적한다. 첫 번째 기여는 “압축 연속 레이아웃”(compressed contiguous layout)이라 명명한 새로운 저장 구조이다. 기존 방식은 각 차원의 인덱스를 별도 배열에 보관하고 다중 루프를 통해 접근했으나, 제안 방식은 다중 인덱스를 하나의 1‑차원 배열에 매핑하고, 고정된 stride를 이용해 O(1) 시간에 원소에 접근한다. 이를 위해 텐서 차원별 크기를 사전 계산하고, 메모리 정렬을 64‑byte 경계에 맞추어 캐시 효율성을 극대화하였다. 결과적으로 동일한 텐서에 대해 평균 70 % 이상의 메모리 절감 효과를 보였다.

두 번째 기여는 Nyström 방법을 텐서 커널에 적용한 “텐서‑Nyström” 전략이다. 전통적인 Nyström은 커널 행렬 K≈CW⁺Cᵀ 형태로 근사하지만, 텐서 커널은 고차원 다중 배열이므로 직접적인 행렬 근사가 어려웠다. 저자는 먼저 텐서 데이터를 2‑모드(예: 샘플 × 특징)로 펼쳐 행렬 형태로 변환한 뒤, 랜덤 서브샘플링을 통해 C와 W를 구성한다. 이후 원본 텐서 커널을 C W⁺ Cᵀ 로 근사함으로써 전체 연산량을 O(m·s²) (s는 샘플 수) 로 감소시켰다. 중요한 점은 근사 과정에서 ℓp‑정규화의 희소성 특성을 유지하도록, 선택된 서브샘플이 고유값 분포를 균등하게 대표하도록 설계했다. 실험에서는 s = 0.2·n (전체 데이터 20 %) 수준에서도 원본 대비 5배 이상 빠른 수렴을 보였으며, 회귀 계수의 선택 정확도는 2 % 이내 차이로 유지되었다.

또한, 구현 측면에서 저자는 핵심 연산을 C++로 재작성하고, Eigen 라이브러리와 OpenMP를 활용해 멀티코어 병렬화를 적용했다. 메모리 레이아웃 변경과 Nyström 근사 모두 SIMD 친화적인 데이터 구조를 사용함으로써 CPU 캐시 미스와 메모리 대역폭 병목을 최소화하였다. 최종적으로 전체 파이프라인은 Python 기반 베이스라인 대비 3~4배의 실행 속도 향상을 달성했다.

이러한 기법들은 텐서 커널이 제공하는 ℓp‑희소성 이점을 유지하면서, 대규모 데이터셋에 대한 실용성을 크게 높인다. 다만, Nyström 근사의 정확도는 서브샘플링 비율과 선택 전략에 민감하므로, 실제 적용 시 교차 검증을 통한 최적 s값 탐색이 필요하다. 또한, 메모리 레이아웃 최적화는 텐서 차원의 고정성을 전제로 하므로, 동적 차원 변동이 잦은 상황에서는 추가적인 인덱스 관리 로직이 요구될 수 있다.