엣지 기반 에이전트 LLM으로 자동 FFmpeg·VVenC 명령 생성

초록

ELLMPEG는 로컬(엣지) 환경에서 실행되는 오픈소스 LLM에 RAG와 자기반성(self‑reflection) 루프를 결합해, 사용자 질의에 맞는 FFmpeg·VVenC 명령을 자동 생성하고 검증한다. 480개의 다양한 프롬프트를 포함한 데이터셋을 구축하고, Qwen2.5, Llama 3.1, Gemma‑2, Mistral 등 4개 모델을 평가한 결과, Qwen2.5가 78 %의 정확도로 가장 높은 성능을 보이며 클라우드 API 비용 없이 실용적인 비디오 처리 파이프라인을 제공한다.

상세 분석

ELLMPEG 논문은 현재 멀티미디어 분야에서 LLM을 활용한 연구가 주로 클라우드 기반 대형 모델에 의존하고 있다는 점을 비판한다. 이러한 접근은 네트워크 의존성, 지속적인 API 비용, 그리고 도메인‑특화 툴(예: VVenC)의 최신 사양 반영 부족이라는 세 가지 근본적인 한계를 가진다. 저자들은 이러한 문제를 해결하기 위해 ‘에이전트형’ LLM 설계와 엣지 컴퓨팅을 결합한 프레임워크를 제안한다. 핵심 아이디어는 (1) 도구‑인식 Retrieval‑Augmented Generation(RAG) 단계에서 FFmpeg와 VVenC 공식 문서를 각각 별도 벡터스토어에 인덱싱하고, (2) 질의에 대한 초기 응답을 생성한 뒤 자체 비판(self‑critique) 피드백을 통해 오류를 탐지·수정하는 자기반성 루프를 적용하는 것이다.

RAG 단계는 문서 청크화(chunking)와 임베딩(embedding) 과정을 상세히 정의한다. 청크 크기와 구분자를 파라미터화해 문서 길이에 따라 동적으로 청크를 분할하고, 메타데이터(도구 태그)를 부착한다. 이후 두 개의 독립적인 AISS 기반 벡터스토어(FFmpeg용 VS_f, VVenC용 VS_v)에 임베딩을 저장함으로써 검색 시 도구 간 교차 오염을 방지한다. 검색은 질의 벡터와 각 스토어의 상위 k개 청크를 유사도 기반으로 추출하고, 추출된 청크와 메타데이터를 LLM에게 전달한다.

LLM 추론 단계에서는 선택된 도구 태그에 따라 프롬프트를 구성하고, 도구‑특화 명령어를 생성한다. 생성된 명령어는 파싱·구문 검증 모듈을 통해 즉시 검증되며, 오류가 발견되면 ‘self‑refinement’ 루프가 재시작된다. 이 루프는 (a) 오류 유형(예: 잘못된 옵션, 존재하지 않는 코덱) 식별, (b) 관련 문서 청크 재검색, (c) 수정된 프롬프트 재전달의 순환을 수행한다. 최대 반복 횟수 S_max를 설정해 무한 루프를 방지하고, 최종적으로 검증된 명령어만 사용자에게 반환한다.

실험 설계는 480개의 프롬프트(FFmpeg와 VVenC 각각 240개)로 구성된 자체 데이터셋을 사용한다. 평가 지표는 (i) 명령어 유효성(정확도), (ii) 토큰당 처리 속도(tokens/s), (iii) 전체 추론 시간, (iv) 에너지 효율(Joules)이다. 네 모델 중 Qwen2.5‑7B가 78 % 정확도로 가장 높은 성능을 보였으며, 토큰 처리 속도와 에너지 소비에서도 Llama 3.1·Gemma‑2·Mistral보다 우수했다. 특히, Qwen2.5는 자기반성 루프를 적용했을 때 오류 감소율이 45 %에 달해, 단순 프롬프트‑투‑명령 변환에 비해 실용적인 수준으로 끌어올렸다.

또한, 논문은 생성된 명령어를 실제 FFmpeg·VVenC 실행 환경에 적용해 런타임 오류와 출력 품질을 검증하였다. 78 % 정확도 중 92 %는 실행 성공률을 보였으며, 나머지 오류는 주로 파라미터 범위 초과와 파일 경로 문제였다. 이는 향후 파일 시스템 추상화와 파라미터 범위 검증 모듈을 추가하면 해결 가능함을 시사한다.

전체적으로 ELLMPEG은 (1) 도구‑특화 RAG 설계, (2) 경량 LLM에 맞춘 최소 오버헤드 자기반성 루프, (3) 엣지 환경에서의 실시간 검증 메커니즘이라는 세 축을 통해, 클라우드 의존성을 배제하면서도 멀티미디어 도메인에서 실용적인 LLM 활용 방안을 제시한다. 향후 연구는 (가) 멀티모달 입력(텍스트+영상) 통합, (나) VVenC 외 다른 최신 코덱(AV1, HEVC) 지원, (다) 자동 파인튜닝 파이프라인 구축 등을 통해 프레임워크를 확장할 수 있을 것으로 기대된다.