워드투벡의 미니배치와 공유 네거티브 샘플을 이용한 고성능 병렬화

본 논문은 워드투벡(Word2Vec) 알고리즘을 현대 멀티코어·다중노드 환경에서 효율적으로 실행하기 위한 일련의 최적화 기법을 제안한다. 먼저, 워드투벡의 핵심 연산인 Skip‑gram with Negative Sampling(SGNS) 모델을 살펴본다. SGNS는 입력 단어와 주변 단어, 그리고 K개의 네거티브 샘플 사이의 내적을 계산하고, 이를 기반으로 확률을 추정한다. 기존 구현은 Hogwild 방식을 사용해 여러 스레드가 동시에 SGD 업데이트를 수행하지만, 각 업데이트가 단일 점곱 연산에 머물러 레벨‑1 BLAS에 의존한다. 이는 메모리 대역폭에 병목이 발생하고, 스레드 간 캐시 라인 경쟁(true/false sharing)으로 확장성이 제한된다. 저자는 이러한 문제점을 해결하기 위해 두 가지 핵심 아이디어를 도입한다. 첫 번째는 **미니배치**를 이용해 여러 입력‑출력 쌍을 동시에 처리하는 것이다. 입력 단어 하나에 대해 목표 단어와 K개의 네거티브 샘플 간 점곱을 한 번에 수행하면, 행‑벡터·행렬 곱(레벨‑2 BLAS)으로 변환할 수 있다. 두 번째는 **공유 네거티브 샘플링**이다. 배치 내 여러 입력 단어가 동일한 네거티브 샘플 집합을 사용하도록 강제하면, 전체 연산을 입력 배치와 네거티브 샘플 행렬 간의 행렬‑행렬 곱(GEMM, 레벨‑3 BLAS)으로 변환할 수 있다. 이 과정에서 입력 행렬은 배치 크기(B)×D, 출력 행렬은 (K+1)×D 형태가 되며, 최종 결과는 B×(K+1) 행렬이 된다. 레벨‑3 BLAS 연산은 현대 CPU의 SIMD·FMA 유닛을 충분히 활용하도록 설계된 고성능 라이브러리(예: Intel MKL, OpenBLAS)와 최적화된 메모리 접근 패턴을 제공한다. 비록 배치 크기와 네거티브 샘플 수가 수십 수준으로 작지만, 실험에서는 GEMM 호출이 메모리 대역폭 제한을 크게 완화하고, 캐시 재사용을 극대화함으로써 전체 처리량이 5배 이상 향상되는 것을 확인했다. 공유 메모리 환경에서는 각 스레드가 독립적인 배치를 처리하고, 배치가 끝난 뒤에만 모델 파라미터를 업데이트한다. 이렇게 하면 모델 업데이트 횟수가 감소해 스레드 간의 충돌이 줄어들고, 메모리 일관성 프로토콜에 의한 오버헤드가 최소화된다. 분산 환경에서는 노드 간 모델 파라미터를 **동기식**으로 교환한다. 저자는 파라미터 전파 주기를 조절해 통신 비용과 계산 효율 사이의 균형을 맞춘다. 구체적으로, 일정 배치 수마다 전체 파라미터를 All‑Reduce 방식으로 집계하고, 각 노드에 동일하게 적용한다. 또한, 노드 수가 증가함에 따라 학습률을 선형적으로 감소시키는 간단한 스케일링 규칙을 도입했으며, 이는 AdaGrad·RMSProp과 같은 복잡한 적응형 학습률 기법 없이도 수렴 속도를 유지하게 한다. 실험은 대표적인 **One Billion Words Benchmark**를 사용해 수행되었다. 1 CPU(8코어)에서 기존 Hogwild 구현 대비 4.8배, 16 CPU(각 8코어)에서는 7.2배, 32노드(각 16코어)에서는 거의 선형 확장(≈31배) 효과를 보였다. 초당 처리량은 300 Mwords/s를 넘어, 현재 보고된 워드투벡 구현 중 가장 빠른 성능을 기록했다. 또한, 정확도 측면에서는 기존 구현과 비교해 의미 유사도와 어휘 유추 테스트에서 차이가 없으며, 수렴 횟수도 비슷했다. 결론적으로, 저자는 **미니배치·공유 네거티브 샘플**이라는 두 가지 설계를 통해 워드투벡의 핵심 연산을 레벨‑3 BLAS로 전환하고, 공유 메모리와 분산 메모리 양쪽에서 효율적인 병렬화를 달성했다. 이 접근법은 메모리 대역폭 한계를 넘어 CPU 연산 능력을 최대한 활용함으로써, 대규모 텍스트 코퍼스에 대한 임베딩 학습을 실시간에 가깝게 수행할 수 있게 만든다. 향후 연구에서는 배치 크기와 네거티브 샘플 공유 전략을 동적으로 조정하거나, GPU·TPU와 같은 가속기에서의 적용 가능성을 탐색할 여지가 있다.