SyGra: 합성 데이터의 생성, 품질 평가, 관리까지 한 번에 해결하는 통합 그래프 프레임워크

초록

대규모 언어 모델(LLM)의 고품질 학습 데이터 부족 문제를 해결하기 위해, ServiceNow 연구팀이 ‘SyGra’라는 통합 그래프 기반 합성 데이터 생성 프레임워크를 개발했습니다. 이 프레임워크는 YAML 설정을 통해 복잡한 대화 흐름을 모델링하고, 휴리스틱 규칙과 LLM 평가를 결합한 이중 단계 품질 태깅 시스템으로 고품질 데이터를 선별합니다. 확장성과 재사용성을 갖춘 모듈식 설계로 SFT 및 DPO와 같은 다양한 LLM 학습 패러다임에 맞춤형 데이터를 대규모로 생성 및 관리할 수 있습니다.

상세 분석

본 논문에서 제안하는 SyGra 프레임워크는 합성 데이터 생성 파이프라인의 복잡성을 해결하기 위한 기술적 진전을 보여줍니다. 핵심은 LangGraph를 기반으로 한 ‘구성 가능한 그래프 오케스트레이션’에 있습니다. 사용자는 YAML 설정 파일을 통해 노드(LLM 호출, 파이썬 함수, 에이전트, 서브그래프)와 간선(단순 연결, 조건부 분기)으로 이루어진 DAG(방향성 비순환 그래프)를 정의할 수 있습니다. 이는 복잡한 멀티턴 대화 생성, 에이전트 시뮬레이션, 조건부 루핑과 같은 정교한 워크플로우를 낮은 코드 비용으로 구현할 수 있게 합니다.

주요 기술적 기여는 다음과 같이 요약됩니다.

1. 모듈형 서브그래프와 재사용성: ‘Evolve Instruct’와 같은 일반적인 데이터 증강 또는 생성 레시피를 서브그래프로 캡슐화하여 여러 파이프라인에서 재사용할 수 있도록 했습니다. 이는 유지보수성과 생산성을 크게 향상시킵니다.
2. 다중 모드 지원: 텍스트뿐만 아니라 이미지와 오디오를 입력 및 출력으로 처리할 수 있는 통합 I/O 어댑터를 제공합니다. 이를 통해 시각적 QA, 문서 분석, 음성 인식 등 멀티모달 합성 데이터 생성이 가능해집니다.
3. 에이전트 기반 실행: ReAct 패러다임을 기반으로 한 에이전트 노드를 지원하여, 도구 사용과 다단계 추론이 필요한 복잡한 인터랙티브 태스크의 시뮬레이션을 가능하게 합니다.
4. 이중 단계 품질 태깅 메커니즘: 효율성과 정확성을 절충한 독창적인 품질 관리 시스템을 도입했습니다. 1단계에서는 언어 감지, 대화 길이 검사, 어휘 다양성 계산 등 빠른 휴리스틱 필터링으로 저품질 샘플을 대량 제거합니다. 2단계에서는 GPT-4와 같은 강력한 LLM을 활용해 유용성, 독창성, 안전성 등 미묘한 품질 차원을 평가하고 점수화합니다. 이는 대규모 생성에서 품질 보증의 실용적인 솔루션을 제시합니다.
5. OASST 호환 구조화 출력 및 메타데이터 추적: 생성된 데이터를 표준화된 OASST 형식으로 출력하여 다운스트림 학습 파이프라인과의 원활한 통합을 보장합니다. 또한, 실행 비용, 토큰 사용량, 지연 시간 등 상세한 메타데이터를 자동으로 추적하여 파이프라인 모니터링과 디버깅을 지원합니다.

종합적으로, SyGra는 단순한 데이터 생성기를 넘어, 확장성 있고 유연하며 감사 가능한 ‘엔드투엔드 합성 데이터 관리 플랫폼’의 청사진을 제시합니다. 연구와 엔터프라이즈 환경 모두에서 복잡한 LLM 학습 데이터의 준비 부담을 획기적으로 줄일 수 있는 강력한 도구입니다.