LLM 데이터 감사자: 합성 데이터 품질·신뢰성 평가의 새로운 지표 체계

초록

**
본 논문은 대형 언어 모델(LLM)로 생성된 합성 데이터를 6가지 모달리티에 걸쳐 체계적으로 평가하기 위한 “LLM 데이터 감사자” 프레임워크를 제안한다. 품질(유효성·충실도·유용성)과 신뢰성(공정성·견고성·프라이버시·안전)이라는 두 축으로 내재적 지표를 분류하고, 기존 연구가 외재적 성능에만 의존하는 평가 한계를 지적한다. 또한 각 모달리티별 대표 생성 방법을 감사하여 현재 평가 관행의 결함을 드러내고, 향후 연구와 실무 적용을 위한 구체적인 권고안을 제시한다.

**

상세 분석

**
LLM 데이터 감사자 프레임워크는 크게 네 단계(생성·품질·신뢰성·감사·활용)와 다섯 핵심 구성요소(생성 방법, 품질 지표, 신뢰성 지표, 평가 격차, 데이터 활용)로 설계되었다. 먼저 텍스트, 심볼·논리, 테이블, 반구조 그래프·JSON·로그, 비전‑언어, 에이전트 등 6가지 주요 모달리티를 정의하고, 각 모달리티별 대표적인 LLM 기반 생성 기법을 정리한다.

품질 지표는 ‘유효성(정답률, 규칙 위반 여부 등)’, ‘충실도(원본과의 유사도, 다양성, 스타일 일관성 등)’, ‘유용성( downstream task 성능, 회귀 오차 등)’으로 세분화된다. 신뢰성 지표는 ‘공정성(민감 속성에 대한 편향)’, ‘견고성(OOD·노이즈에 대한 안정성)’, ‘프라이버시(멤버십 공격 저항성, 차등 프라이버시)’, ‘안전(유해 콘텐츠 검출, 위험 행동 억제)’ 네 축으로 구성된다. 이러한 지표들은 기존 연구가 주로 downstream 모델 성능에 의존해 평가하던 방식을 탈피해, 데이터 자체의 내재적 특성을 직접 측정하도록 설계되었다.

논문은 각 모달리티별 최신 생성 모델(예: 텍스트 – RedPajama‑V2, FineWeb; 논리 – WizardMath, MetaMathQA; 테이블 – TabGen‑ICL, OCTree 등)을 선정하고, 해당 논문들이 보고한 평가 지표를 ‘감사’한다. 그 결과 대부분이 유효성·충실도 위주로 제한된 지표만 사용하고, 신뢰성(특히 프라이버시·안전) 평가가 거의 없으며, 평가 방법 자체가 LLM에 의존해 편향될 위험이 있음을 발견한다.

핵심 인사이트는 다음과 같다.

1. 내재적 평가 체계 부재: 현재 합성 데이터 평가는 외재적 성능에 과도하게 의존해, 데이터 품질 자체를 객관적으로 검증하기 어렵다.
2. 모달리티 간 평가 불균형: 텍스트와 코드 등 일부 모달리티는 비교적 풍부한 지표가 존재하지만, 그래프·JSON·에이전트 데이터는 평가 기준이 매우 제한적이다.
3. 신뢰성 지표의 미비: 프라이버시·안전·공정성 평가가 거의 없으며, 특히 멤버십 공격이나 유해 콘텐츠 생성에 대한 정량적 측정이 부족하다.
4. LLM 기반 스코어링 편향: LLM을 평가 도구로 사용할 경우, 생성 모델과 동일한 사전학습 편향이 전이돼 공정성·견고성 평가가 왜곡될 위험이 있다.

이에 대한 권고안으로는 (1) 품질·신뢰성 지표를 표준화하고, 공개 벤치마크와 함께 자동화된 감사 파이프라인을 구축할 것, (2) 각 모달리티별 특성을 반영한 맞춤형 지표 세트를 개발하고, 특히 프라이버시·안전 측면을 강화할 것, (3) LLM 외부의 독립적인 평가 모델(예: 인간 라벨링, 통계적 검증)과의 혼합 사용을 권장한다. 또한 데이터 사용 단계에서 ‘필터‑리파인’ 루프를 명시적으로 포함시켜, 초기 생성된 데이터가 지속적으로 개선되도록 설계할 것을 제안한다.

**