대규모 모델 학습을 위한 패킷‑레벨 시뮬레이션 가속화: 메모이제이션과 빠른 전진 기법

초록

본 논문은 LLM 분산 학습에서 발생하는 반복적인 혼잡 패턴과 안정 상태를 활용해 패킷‑레벨 이산 이벤트 시뮬레이션(PLDES)의 연산량을 크게 줄이는 방법을 제안한다. Wormhole이라는 투명 커널을 통해 흐름의 비안정 구간은 메모이제이션으로 재사용하고, 안정 구간은 전송률 기반으로 빠르게 건너뛰어 ns‑3 대비 744배(모델별 510배) 가속을 달성하면서 오차는 1% 미만으로 유지한다. 또한 기존 멀티스레드 가속 기법과 결합해 1 012배까지 속도를 끌어올릴 수 있음을 실험으로 입증한다.

상세 분석

Wormhole이 제시하는 핵심 아이디어는 LLM 학습 트래픽이 갖는 두 가지 특성을 정량화하고 이를 시뮬레이션 단계에서 제거한다는 점이다. 첫 번째는 “반복적인 혼잡 패턴”이다. 데이터 병렬(DP)이나 파이프라인 병렬(PP) 등으로 발생하는 All‑reduce, point‑to‑point 흐름은 동일한 경로와 동일한 동시성 조건을 여러 번 반복한다. 논문은 이러한 흐름 충돌 그래프(FCG)를 추출해 키‑값 형태의 메모리 데이터베이스에 저장한다. 이후 동일한 패턴이 재등장하면, 시뮬레이터는 실제 패킷 이벤트를 재현하지 않고 저장된 최종 상태와 타임스탬프를 그대로 적용한다. 이는 이벤트 수를 수십억 건 수준에서 수천 건 수준으로 축소한다는 의미다.

두 번째는 “안정 상태(steady‑state)”이다. 현대의 혼잡 제어 알고리즘(CCAs)은 수렴 후 전송률이 거의 변하지 않는다. Wormhole은 포트‑레벨 전송률 변동을 모니터링하고, 변동 폭이 사전 정의된 임계값 이하이면 해당 흐름을 안정 구간으로 판단한다. 이때 평균 전송률을 고정값으로 사용하고, 큐 길이와 버퍼 점유율은 포트에 패킷을 일시 정지시켜 유지한다. 시뮬레이션 타임스탬프만 ΔT만큼 전진시키는 방식으로 “빠른 전진(fast‑forward)”을 구현한다.

네트워크 파티셔닝 알고리즘은 위 두 메커니즘이 충돌 없이 적용되도록 돕는다. 포트 기반으로 연결된 서브그래프를 구분해 각 파티션이 독립적인 상태를 갖도록 함으로써, 한 파티션의 메모이제이션이 다른 파티션에 영향을 주지 않게 한다. 이는 메모리 사용량을 제한하고, 데이터베이스 조회 효율을 높인다.

이론적 분석에서는 전송률이 안정될 경우 모든 파라미터(큐 길이, RTT, 손실률 등)가 일정함을 증명하고, 임계값 선택에 따른 최대 오차를 1% 이하로 제한한다. 실험에서는 GPT‑3‑175B, GPT‑13B, MoE‑8×7B 등 다양한 모델과 128‑1024 GPU 규모의 클러스터를 대상으로 ns‑3와 Unison 기반 멀티스레드 시뮬레이션을 비교했다. 결과는 Wormhole만 사용했을 때 평균 744×, MoE 워크로드는 510× 가속을 보였으며, Unison과 병합했을 때는 1 012×까지 확장되었다. 오류는 흐름 완료 시간(FCT) 기준 0.8% 이하로, 실제 시스템 설계에 충분히 활용 가능함을 보여준다.

한계점으로는 트래픽이 고도로 비정형적이거나 멀티‑테넌트 클라우드 환경처럼 반복 패턴이 거의 없을 경우 메모이제이션 히트율이 낮아 기존 ns‑3 수준으로 되돌아간다. 하지만 이러한 상황에서도 추가적인 연산 비용이 발생하지 않으며, 정확도 손실도 없다는 점을 강조한다.

전반적으로 Wormhole은 PLDES의 근본적인 병목인 이벤트 처리량을 흐름 수준의 구조적 특성을 이용해 크게 감소시키는 혁신적 접근이다. 기존의 모델 단순화나 병렬화만으로는 달성하기 어려운 가속률을 제공하면서도, 시뮬레이션 결과의 신뢰성을 유지한다는 점에서 대규모 LLM 학습 인프라 설계·최적화 연구에 중요한 도구가 될 전망이다.