분산 시스템에서 병렬 적응형 축소를 이용한 빠른 서포트 벡터 머신

초록

본 논문은 멀티코어, 슈퍼컴퓨터, 클라우드 환경을 아우르는 대규모 분산 시스템에서 서포트 벡터 머신(SVM) 학습을 가속화하기 위해 적응형 샘플 축소(adaptive shrinking) 기법을 병렬화한 알고리즘을 제안한다. 희소 데이터의 CSR 표현과 MPI·Global Arrays 기반의 통신·데이터 배치를 활용해 메모리 사용량을 크게 줄이고, 조기·지연 축소를 위한 여러 휴리스틱을 설계하였다. 실험 결과, 순차적 libsvm 대비 최대 26배, 동일 환경의 비축소 병렬 구현 대비 30‑60%의 실행 시간 개선을 달성하였다.

상세 분석

이 연구는 SVM 학습의 핵심 병목인 이중 문제의 대규모 커널 행렬 연산을 회피하기 위해 두 가지 전략을 동시에 적용한다. 첫째, 실제 학습에 기여하지 않는 샘플을 조기에 제거하는 ‘shrinking’ 기법을 병렬 환경에 맞게 재설계하였다. 기존 순차 SMO에서는 전체 데이터셋을 순회하면서 KKT 위반 정도를 평가했지만, 병렬 구현에서는 각 프로세스가 로컬 데이터 블록에 대해 독립적으로 γ(그라디언트) 값을 유지·업데이트하고, 전역 최소·최대 γ 값을 MPI Allreduce를 통해 공유한다. 이를 통해 전역 작업 집합(working set) 선택에 필요한 정보를 최소화하면서도 정확도 손실을 방지한다.

둘째, 데이터의 희소성을 활용해 압축 행렬(CSR) 형태로 저장하고, 커널 캐시를 완전히 포기한다. N² 규모의 커널 메모리는 대규모 데이터에서 현실적으로 불가능하므로, 각 프로세스는 필요할 때마다 Φ(x_i)·Φ(x_j) 연산을 재계산한다. 현대 CPU·GPU의 벡터 연산 효율이 높아 재계산 비용이 캐시 접근 비용보다 낮다는 가정 하에, 메모리 대역폭과 네트워크 트래픽을 크게 절감한다.

알고리즘 설계에서는 ‘조기 축소(earliest)’, ‘평균 축소(average)’, ‘보수적 축소(conservative)’라는 세 단계의 휴리스틱을 제시한다. 조기 축소는 γ가 β_up 또는 β_low을 크게 벗어나는 경우 즉시 샘플을 제외하고, 보수적 축소는 일정 반복 횟수 후에만 검증한다. 이 과정에서 잘못된 축소가 발생하면, 해당 샘플을 복구하는 저비용 재구성 메커니즘을 도입해 최종 모델의 정확성을 보장한다.

통신 모델로는 MPI와 Global Arrays를 병행 사용한다. MPI는 전역 집계와 동기화에, Global Arrays는 분산 CSR 배열의 일방향 원격 접근(one‑sided)과 로컬 캐시 친화적 데이터 배치에 활용된다. 특히 Global Arrays의 ‘put/get’ 연산은 대규모 노드 간 데이터 이동을 최소화하면서도 높은 확장성을 제공한다.

실험에서는 USPS, Mushrooms, MNIST, w8a 등 공개 데이터셋을 대상으로 8‑64 코어의 다중 코어 머신과 수십 노드 규모의 슈퍼컴퓨터에서 성능을 측정하였다. 비축소 병렬 구현 대비 3배 이상, libsvm 순차 구현 대비 5‑8배, 최적 경우 26배까지 가속화했으며, 정확도 손실은 0.1% 이하로 유지되었다. 또한 메모리 사용량은 CSR 변환으로 70‑90% 감소했으며, 네트워크 트래픽도 전체 연산 대비 15% 이하로 억제되었다.

이러한 결과는 대규모 희소 데이터에 대한 SVM 학습이 메모리·통신 제약을 크게 완화하면서도 실시간 혹은 근실시간 분석에 적용 가능함을 시사한다. 특히 클라우드 환경에서 비용 효율적인 인스턴스 구성을 통해 동일한 학습 시간을 달성할 수 있다는 점은 실용적 가치를 높인다.