모바일 엣지에서 다중모달 대형 모델을 위한 공정·고속 다중에이전트 인퍼런스

초록

본 논문은 모바일 엣지 네트워크에서 텍스트·이미지·비디오 등 다양한 모달을 지원하는 대형 모델(LM)의 실시간 추론을 위해, 장기 계획 에이전트, 단기 프롬프트 스케줄링 에이전트, 그리고 노드별 LM 배치 에이전트로 구성된 다중‑에이전트 프레임워크를 제안한다. LLM 기반 자연어 추론을 활용해 런타임 텔레메트리와 과거 경험을 종합적으로 판단함으로써, 평균 지연을 80 % 이상 감소시키고 공정성을 나타내는 정규화된 Jain 지수를 0.90까지 끌어올렸다.

상세 분석

이 연구는 모바일 엣지 환경에서 발생하는 세 가지 핵심 난관—(1) 다중모달 LM의 이질적인 자원 요구와 추론 속도, (2) 프롬프트·결과의 다양한 전송·처리 패턴, (3) 제한된 서버·네트워크 자원—을 동시에 해결하려는 시도로서, 기존 연구가 주로 단일 모델 최적화 혹은 서버 선택에 국한된 점을 뛰어넘는다. 제안된 프레임워크는 크게 세 계층으로 나뉜다.
① **장기 계획 에이전트(Tier‑1 Global Planning Agent)**는 시간 간격이 큰 텔레메트리(예: 하루 단위 트래픽 분포, 서버 가동 이력)를 요약하고, 에피소드 메모리에서 유사 상황을 검색해 ‘프롬프트‑서버 라우팅 정책’과 ‘노드‑레벨 LM 배치 의도’를 확률적으로 생성한다. 여기서 사용된 LLM은 사전 훈련된 대형 언어 모델이며, few‑shot 프롬프트와 체인‑오브‑생각(Chain‑of‑Thought) 기법을 통해 복합 제약(자원 한계, 공정성 목표, 지연 목표)을 동시에 고려한다.
② **단기 스케줄링 에이전트(Prompt Scheduling Agent)**는 초단위 슬롯에서 실시간 큐 길이, 네트워크 대역폭, GPU/CPU 사용률 등을 모니터링하고, 장기 정책을 구체적인 라우팅·스케줄링 결정으로 변환한다. 이 단계는 강화학습 기반 보상 함수 대신 LLM의 자연어 추론을 활용해 ‘현재 상황 → 최적 행동’을 텍스트 형태로 질의하고, 반환된 행동을 즉시 실행한다. 실험 결과, 이 접근법은 전통적인 DRL 기반 스케줄러 대비 정책 전이 비용이 현저히 낮으며, 모델 재학습 없이도 워크로드 급변에 빠르게 적응한다는 장점을 보였다.
③ **노드‑레벨 배치 제어 에이전트(Deployment Control Agents)**는 각 MEC 서버 내부에서 실행되며, 컨테이너화된 LM 인스턴스의 활성·비활성, 메모리·vRAM 할당, GPU 스케줄링을 동적으로 조정한다. 여기서는 LLM이 “현재 메모리 사용량이 X GB를 초과하면 Y 모델을 스와핑한다”와 같은 명령을 생성하고, 쿠버네티스 API와 연동해 자동화한다.
프레임워크 전체는 ‘자연어 기반 의사결정 → 자동화된 시스템 명령’이라는 새로운 패러다임을 제시한다. 특히, 에이전트 간의 협업을 위해 공유된 ‘에피소드 메모리’와 ‘정책 요약’을 사용함으로써, 개별 에이전트가 독립적으로 학습할 필요 없이 전체 시스템 수준의 최적화를 달성한다.
성능 평가를 위해 저자들은 영국 브리스톨 시내 전역에 걸친 실제 MEC 클러스터(OpenStack + Kubernetes 기반)를 구축하고, 텍스트‑to‑텍스트, 텍스트‑to‑이미지, 이미지‑to‑텍스트 등 3가지 모달을 포함한 5개의 대형 모델을 컨테이너화했다. 실험 시나리오는 트래픽 피크, 모델 업데이트, 서버 고장 등을 포함한 24 시간 연속 워크로드를 재현했으며, 비교 대상으로는 (1) 단일 서버 라우팅, (2) 기존 DRL 기반 오프로드, (3) 모델‑중심 압축·분할 기법을 사용한 베이스라인을 설정했다. 결과는 평균 응답 지연이 80 % 이상 감소하고, 정규화된 Jain 지수가 0.51에서 0.90으로 상승했으며, 에이전트가 새로운 모델을 추가하거나 워크로드 패턴이 바뀔 때도 5 분 이내에 적응함을 보여준다.
한편, 몇 가지 한계도 존재한다. LLM 기반 의사결정 과정에서 발생하는 프롬프트·응답 지연이 전체 시스템에 미치는 영향이 완전히 정량화되지 않았으며, 에이전트 자체가 차지하는 연산·메모리 오버헤드가 대규모 엣지 클러스터에서는 무시할 수 없을 가능성이 있다. 또한, 자연어 추론에 의존하는 만큼 프롬프트 설계와 LLM의 ‘Hallucination’ 위험을 관리하기 위한 안전 메커니즘이 필요하다.