변환기 모델 합성 데이터의 성능 보장을 위한 데이터 커널 관점 공간

초록

본 논문은 변환기(Transformer) 기반 대형 언어 모델이 생성한 합성 데이터의 통계적 특성을 정량화하기 위해 데이터 커널 관점 공간(DKPS)이라는 프레임워크를 제안한다. DKPS는 다수의 질의(query)와 임베딩 함수를 이용해 모델 출력의 평균 차이를 유클리드 거리 행렬로 변환하고, 고전적 다차원 스케일링(MDS)으로 저차원 표현을 얻는다. 이를 통해 합성 데이터의 편향·분산 상한을 이론적으로 보장하고, 기계 번역 및 대비 선호 최적화(CPO)와 같은 다운스트림 작업에 미치는 영향을 실험적으로 검증한다.

상세 분석

본 연구는 먼저 “데이터 커널 관점 공간(Data Kernel Perspective Space, DKPS)”이라는 수학적 구조를 정의한다. n개의 생성 모델 f⁽ⁱ⁾: Q→Y와 임베딩 함수 g: Y→ℝᵖ를 가정하고, m개의 질의 {q₁,…,q_m}에 대해 각 모델의 출력 평균 μ⁽ⁱ⁾_j = E