멀티모달 대규모 언어 모델 학습 가속을 위한 오케스트레이션 프레임워크

초록

본 논문은 멀티모달 대규모 언어 모델(MLLM) 학습 시 발생하는 ‘Modality Composition Incoherence’ 문제를 해결하기 위해 배치 사후 균형 디스패처와 전역 오케스트레이터를 결합한 OrchMLLM 프레임워크를 제안한다. 실험 결과 84B 모델을 2560대 H100 GPU에서 학습할 때 MFU 41.6%를 달성했으며, 기존 Megatron‑LM 대비 최대 3.1배 높은 처리량을 기록하였다.

상세 분석

OrchMLLM은 기존 데이터 병렬(DP) 학습에서 미니배치 간 토큰 수 차이와 다중 모달리티가 섞인 데이터의 구성 불일치가 GPU 활용도를 크게 저하시킨다는 점을 정확히 짚어낸다. 특히 ‘Modality Composition Incoherence’는 동일 모달리티라도 예제마다 비율이 크게 달라져, 하나의 배치에서 여러 단계(비전 인코더, 오디오 인코더, LLM 백본)로 진행될 때 각 단계마다 서로 다른 인스턴스가 병목이 되거나 유휴 상태가 발생하게 만든다. 기존의 배치 사전 균형(Pre‑Balancing) 방식은 예제 수준에서만 균형을 맞추어 다중 단계의 복합 최적화를 풀지 못한다는 한계를 가지고 있었다.

OrchMLLM은 이 문제를 ‘배치 사후 균형(Batch Post‑Balancing)’이라는 새로운 관점으로 전환한다. 먼저 전체 예제 배치를 그대로 유지한 뒤, 각 모달리티별로 미니배치를 재배열해 단계별 토큰 수를 동일하게 만든다. 이는 ‘결과 불변성(consequence‑invariant)’이라는 핵심 가정을 기반으로 하며, 재배열이 학습 결과에 영향을 주지 않음을 증명한다. 논문에서는 이를 구현하기 위해 Node‑wise All‑to‑All Communicator를 설계했으며, intra‑node와 inter‑node 대역폭 차이를 활용한 효율적인 메모리 및 통신 스케줄링을 제시한다.

또한 MLLM Global Orchestrator는 전체 학습 파이프라인에 통합되어, 각 단계마다 동적으로 배치를 재조정하고, GPU 사용률을 실시간으로 모니터링한다. 이 오케스트레이터는 모달리티 비율 변동을 감지하면 즉시 재배치를 트리거함으로써, 어느 한 단계에서든 스트래거(느린 인스턴스) 현상이 발생하지 않도록 보장한다.

실험에서는 84B 파라미터 모델에 비전·오디오·텍스트 3가지 모달리티를 포함시켜 2560대 H100 GPU 클러스터에서 학습했으며, MFU 41.6%를 달성했다. 이는 Megatron‑LM 대비 최대 3.1배 높은 처리량이며, 특히 GPU 아이들 타임이 크게 감소하고 통신 오버헤드가 최소화된 점이 눈에 띈다. 또한 다양한 모델 규모(7B, 13B, 84B)와 모달리티 조합에 대해 일관된 효율 향상을 보이며, 프레임워크가 모델 아키텍처와 무관하게 적용 가능함을 입증한다.

이러한 설계는 대규모 멀티모달 모델을 빠르게 실험하고 배포하려는 연구·산업 현장에 큰 의미를 가진다. 특히 데이터 구성 불균형이 심한 실제 서비스 데이터셋에서도 사후 균형 방식이 유연하게 적용될 수 있어, 향후 더 많은 모달리티와 복합 태스크를 포함한 ‘옴니’ 모델 개발에 핵심 인프라가 될 전망이다.