대규모 커널 머신을 위한 분산 최적화와 랜덤 피처 결합

본 논문은 빅데이터 시대에 비선형 모델의 필요성이 커짐에 따라, 커널 방법을 대규모 데이터에 적용하기 위한 새로운 알고리즘 프레임워크와 고성능 구현을 제시한다. 전통적인 커널 학습은 훈련 샘플 수 n에 대해 O(n³) 시간·O(n²) 메모리 복잡도를 가지며, 이는 수십만~수백만 샘플을 다루는 현실적인 상황에서는 사용이 불가능하다. 이를 극복하기 위해 두 가지 핵심 기술을 결합한다. 첫 번째는 랜덤 피처 매핑(Random Feature Maps)이다. Rahimi와 Recht가 제안한 이 방법은 커널 함수를 저차원 선형 내적로 근사함으로써, 원래의 무한 차원 힐베르트 공간을 s 차원의 명시적 피처 공간으로 변환한다. 여기서 s는 사용자가 선택할 수 있는 파라미터이며, 통계적 정확도와 계산 비용 사이의 트레이드오프를 조절한다. 그러나 s가 수천~수만에 달하면, 변환된 피처 행렬 Z (크기 n × s)는 메모리 한계를 초과한다. 두 번째는 블록‑스플리팅 ADMM(Block‑splitting Alternating Directions Method of Multipliers)이다. ADMM은 목적 함수를 두 개의 부분 함수 f와 g로 분리하고, 선형 제약 Ax + Bz = c 를 통해 전역 합의를 강제한다. 블록‑스플리팅 형태는 데이터와 파라미터를 블록 단위로 나누어 각 블록이 독립적으로 업데이트되도록 설계한다. 논문은 이 구조를 이용해 Z를 “암시적으로” 다루는 방식을 제안한다. 구체적으로, 각 노드가 담당하는 데이터 블록 X_i에 대해 로컬에서 즉시 랜덤 피처 z(X_i)를 계산하고, ADMM의 x‑업데이트와 z‑업데이트 단계에서 필요한 부분만 교환한다. 이렇게 하면 전체 Z를 메모리에 저장할 필요가 없으며, 메모리 사용량은 각 노드당 O(|X_i|·d) 수준으로 제한된다. 알고리즘 흐름은 다음과 같다. (1) 데이터와 레이블을 행 단위로 N개의 노드에 분산한다. (2) 각 노드에서 로컬 랜덤 피처 Z_i를 즉시 생성한다. (3) ADMM의 x‑업데이트는 각 노드에서 로컬 목적 함수와 라그랑주 승수를 이용해 prox 연산을 수행한다. (4) 전역 z‑업데이트는 모든 노드에서 계산된 x_i를 평균화하고, 라그랑주 승수를 갱신한다. (5) 위 과정을 수렴할 때까지 반복한다. 이 과정에서 프로시멀 연산자(proximity operator)와 투영 연산자(projection operator)만 구현하면 다양한 손실 함수(V)와 정규화(r)에 적용 가능하도록 설계되었다. 예를 들어, 제곱 손실, 로지스틱 손실, 힌지 손실 등은 각각 닫힌 형태의 prox 연산을 제공한다. 정규화 측면에서는 L2, L1, 그룹 L1 등도 동일한 인터페이스로 확장된다. 프레임워크는 하이브리드 병렬성을 활용한다. 노드 간 통신은 MPI를 통해 이루어지며, 각 노드 내부에서는 OpenMP와 고성능 BLAS/LAPACK을 이용해 멀티코어 연산을 가속한다. 통신 비용을 최소화하기 위해 파라미터 평균화 단계만 전역 동기화를 수행하고, 로컬 업데이트는 완전 비동기적으로 진행한다. 이 설계는 대규모 클러스터 환경에서 거의 선형적인 확장성을 보장한다. 실험에서는 두 가지 대표적인 데이터셋을 사용하였다. 첫 번째는 이미지 분류용 MNIST(60 k 훈련, 10 k 테스트)이며, 랜덤 피처 수 s를 8 000~12 000까지 늘려도 99 % 이상의 정확도를 유지하였다. 64노드(각 16코어) 클러스터에서 학습 시간은 기존 LIBLINEAR 대비 약 5배 가량 단축되었다. 두 번째는 음성 인식용 TIMIT으로, 수백만 샘플과 수십만 차원의 피처를 다루었다. 여기서는 메모리 사용량을 200 GB 이하로 제한하면서도 1 % 미만의 오류율을 달성했으며, 메모리 제한이 심한 환경에서도 디스크 I/O 없이 순수 메모리 내에서 학습이 가능했다. 비교 대상은 SVMLight, LIBSVM, Vowpal Wabbit 등 기존의 순차 및 분산 커널/랜덤 피처 구현이다. 제안된 시스템은 동일 정확도에서 2~8배 빠른 수렴 속도를 보였으며, 노드 수를 2배 늘릴 때 거의 선형적인 속도 향상을 기록했다. 이는 ADMM의 로컬 업데이트가 완전 독립적으로 수행되고, 전역 통신이 파라미터 평균화 단계에만 국한되기 때문이다. 구현 코드는 libSkylark 라이브러리(https://xdata-skylark.github.io/libskylark/)에 오픈소스로 제공된다. BSD‑3Clause 라이선스로 배포되며, C++와 MPI, OpenMP 기반으로 작성돼 다양한 HPC 환경(클라우드, 슈퍼컴퓨터, 온프레미스 클러스터)에서 바로 활용 가능하다. 결론적으로, 이 논문은 랜덤 피처와 블록‑스플리팅 ADMM을 결합한 새로운 분산 최적화 프레임워크를 통해, 기존 커널 방법이 직면한 메모리·시간 병목을 근본적으로 해소하고, 실용적인 대규모 비선형 학습을 가능하게 만든다. 이는 빅데이터와 고성능 컴퓨팅이 결합된 현대 머신러닝 연구에 중요한 전환점을 제공한다.