LLM을 활용한 합성 오버샘플링 이론과 실용적 접근

초록

본 논문은 대규모 언어 모델(LLM)을 이용해 소수 클래스 데이터를 합성으로 보강하는 이론적 근거를 제시한다. 합성 오버샘플링이 불균형 분류와 스퓨리어스 상관관계 완화에 미치는 영향을 그룹별 위험 함수로 정량화하고, 합성 데이터 양에 따른 스케일링 법칙을 도출한다. 또한 트랜스포머 기반 LLM이 고품질 합성 샘플을 생성함을 실험적으로 검증한다.

상세 분석

논문은 먼저 불균형 데이터가 모델의 편향을 야기하고, 특히 소수 그룹에 대한 위험이 과대·과소 평가되는 문제를 명시한다. 기존 SMOTE·ADASYN 등 전통적 오버샘플링 기법은 선형 보간에 의존해 다양성 확보에 한계가 있었으며, GAN 기반 접근도 훈련 불안정성과 모드 붕괴 위험을 안고 있었다. 저자들은 이러한 한계를 극복하기 위해 LLM, 특히 GPT‑2와 GPT‑4를 활용해 텍스트 형태로 변환된 표형 데이터를 생성한다는 새로운 파이프라인을 제안한다.

이론적 부분에서는 그룹별 위험 R⁽ᵍ⁾(θ)와 균형 위험 R_bal(θ)를 정의하고, 합성 오버샘플링 후 경험적 위험 bR_ovs(θ)와 합성 증강 후 bR_aug(θ)를 도입한다. 핵심 정리는 다음과 같다. (1) 합성 오버샘플링이 소수 그룹의 위험을 최소화하는 방향으로 편향 B⁽ᵍ⁾(θ)를 감소시킨다. 이는 B⁽ᵍ⁾(θ)와 그 1·2차 도함수가 n_tot→∞ 에서 0 으로 수렴한다는 가정 하에 증명된다. (2) 합성 증강에 대해서는 전체 그룹에 걸친 데이터 양 N 이 증가함에 따라 균형 과잉 위험 R_bal(bθ)−R_bal(θ_bal) 가 다항식 형태로 감소한다는 스케일링 법칙을 제시한다. 구체적으로, 위험 감소율은 ρ(불균형 비율)와 합성 데이터 품질(편향 B)의 함수이며, ρ 가 클수록 더 많은 합성 샘플이 필요함을 수식적으로 보여준다.

가정 1‑4는 손실 함수의 2차 연속 미분 가능성, 헤시안의 양정정밀도, 합성·실제 데이터 분포 간 TV 거리의 수렴, 그리고 식별 가능성을 요구한다. 특히 가정 2는 “합성 데이터가 원본 데이터와 점점 동일해진다”는 조건을 명시하는데, 이는 트랜스포머가 충분히 큰 파라미터와 사전학습을 통해 원본 데이터의 통계적 특성을 재현한다는 최신 연구와 일치한다.

실험에서는 두 가지 시나리오를 검증한다. 첫째, 소수 클래스에만 합성 샘플을 추가한 오버샘플링이 기존 SMOTE·ADASYN 대비 F1‑score와 AUC를 크게 향상시킨다. 둘째, 모든 그룹에 균등하게 합성 데이터를 증강한 경우, 논문에서 도출한 스케일링 법칙에 따라 위험 감소가 N⁻¹/² 수준으로 수렴함을 확인한다. 또한 GPT‑4 프롬프트 기반 생성이 GPT‑2 파인튜닝 대비 더 낮은 편향 B와 높은 샘플 다양성을 제공함을 실증한다.

결론적으로, 이 논문은 LLM 기반 합성 데이터가 불균형 문제를 해결하는 데 이론적 정당성을 제공하고, 스케일링 법칙을 통해 필요한 합성 데이터 양을 사전에 예측할 수 있는 프레임워크를 제시한다. 이는 데이터 불균형이 심각한 의료·금융·보안 분야에 실용적인 가이드라인을 제공한다는 점에서 큰 의의를 가진다.