코드 없이 대규모 모델 기반 데이터 분석 에이전트 LAMBDA

초록

LAMBDA는 대형 언어 모델을 활용해 프로그래머와 인스펙터 두 역할의 에이전트가 협업하도록 설계된 오픈소스 데이터 분석 시스템이다. 사용자는 자연어 명령만으로 코드를 자동 생성·실행하고, 오류 발생 시 인스펙터가 수정 제안을 제공한다. 또한 지식 통합 메커니즘을 통해 외부 모델·알고리즘을 손쉽게 연결할 수 있다.

상세 분석

LAMBDA는 “프로그래머”와 “인스펙터”라는 두 핵심 에이전트가 순환적으로 작동하는 멀티‑에이전트 프레임워크를 제시한다. 프로그래머는 사용자 지시와 데이터 메타정보를 기반으로 파이썬 코드를 생성하고, 생성된 코드를 즉시 실행한다. 실행 결과 오류가 발생하면 인스펙터가 오류 로그와 코드 컨텍스트를 분석해 구체적인 수정 제안을 반환한다. 프로그래머는 이 제안을 반영해 코드를 재작성하고, 이 과정을 사전 정의된 최대 시도 횟수까지 반복한다.

특징적인 설계 요소는 다음과 같다. 첫째, 시스템 프롬프트에 데이터셋의 스키마, 결측치 통계, 열 타입 등 상세 메타데이터를 포함시켜 LLM이 보다 정확한 코드와 시각화 명령을 생성하도록 돕는다. 둘째, “지식 통합 메커니즘(Knowledge Integration Mechanism)”은 KV(키‑밸류) 형태의 지식 베이스를 제공하고, ‘Full’과 ‘Core’ 두 모드로 외부 알고리즘·모델을 호출한다. 이를 통해 도메인‑특화 통계 모델이나 맞춤형 플러그인을 손쉽게 연동할 수 있다. 셋째, 인간 개입 인터페이스가 내장돼 사용자가 직접 코드를 수정·재실행하거나, 자동화된 루프가 실패했을 때 최종 결과를 직접 제어한다.

관련 연구와 비교했을 때, 기존 LLM 기반 데이터 에이전트는 대부분 엔드‑투‑엔드 파이프라인을 자동화하려다 오류 복구 능력이 부족하거나 토큰 소모가 과다한 문제가 있었다. LAMBDA는 에이전트 수를 두 개로 최소화해 토큰 효율성을 높이고, 인스펙터를 통한 오류 자동 교정 루프를 도입함으로써 안정성을 크게 향상시켰다. 또한 오픈소스 구현과 로컬 실행을 지원해 데이터 프라이버시와 커스터마이징 요구를 충족한다.

실험에서는 다중 도메인(생물학, 의료, 비즈니스) 데이터셋에 대해 LAMBDA가 코드 자동 생성 정확도와 실행 성공률에서 기존 베이스라인을 앞섰으며, 복잡한 통계 분석·시각화 작업에서도 인간 개입 없이 목표 결과를 도출했다. 한계점으로는 현재 LLM 선택에 따라 성능 편차가 존재하고, 매우 대규모 데이터(수백만 행) 처리 시 실행 환경 최적화가 필요하다는 점을 언급한다.