엔트로피 차이를 활용한 도메인 적응형 데이터 선택으로 효율적인 LLM 파인튜닝

초록

InstructDiff는 기본 모델과 소량의 지시 튜닝을 거친 캘리브레이션 모델 간의 엔트로피 차이를 이용해 데이터 샘플을 선택한다. 엔트로피 감소는 일반 지시‑응답 작업에, 엔트로피 증가는 수학·추론 작업에 유리함을 발견하고, 이를 자동으로 적용하는 두 단계 파이프라인을 제안한다. 10 % 수준의 데이터만 사용해 전체 학습 대비 17 %~52 %의 상대적 성능 향상을 달성한다.

상세 분석

본 논문은 대규모 언어 모델(LLM)의 지도학습 파인튜닝에서 전체 데이터 사용이 비용 대비 효율이 낮다는 문제를 데이터 선택 관점에서 재조명한다. 기존 방법들은 일반 지시‑응답과 추론·수학 등 특정 도메인에 특화된 히ュー리스틱을 사용해 왔으며, 도메인 간 전이성이 부족했다. 저자들은 기본 모델(π_base)과 소량의 샘플로 가볍게 지시‑튜닝한 캘리브레이션 모델(π_inst) 사이의 엔트로피 차이 ΔH = H_base – H_inst 를 측정함으로써 두 도메인에서 공통된 선택 원칙을 도출한다.

1. 인지 압축 vs 인지 확장

   • 일반 지시‑응답 및 의료 QA와 같은 도메인에서는 π_inst이 불확실성을 감소시켜 ΔH가 양수(엔트로피 감소)인 샘플이 학습에 유리하다. 이를 ‘인지 압축’이라 명명한다.
   • 수학·추론 도메인에서는 오히려 π_inst이 엔트로피를 증가시켜 ΔH가 음수(엔트로피 증가)인 샘플이 성능 향상에 기여한다. 이를 ‘인지 확장’이라 부른다.

2. 최소 차이 원칙
   두 현상이 상반되지만, 각 도메인에서 최적의 성능을 내는 샘플은 절대값 |ΔH|가 가장 작은, 즉 엔트로피 변화가 최소인 데이터이다. 이는 모델이 현재 지식과 새로운 정보를 균형 있게 통합할 수 있는 ‘학습 가능한 경계’를 의미한다.

3. 두 단계 선택 프레임워크

   • Warmup Calibration: 전체 데이터의 α(≈10 %)를 무작위 추출해 가벼운 지시‑튜닝을 수행, π_inst을 생성한다. 이 단계는 캘리브레이션 비용이 적으면서도 모델의 초기 지시 수행 능력을 활성화한다.
   • Distribution‑Aware Selection: 모든 후보 샘플에 대해 ΔNLL = L_inst – L_base 와 ΔH를 계산한다. ΔNLL이 극단적인 상위·하위 γ(≈10 %) 퍼센타일에 해당하는 샘플은 각각 정보량이 부족하거나 학습에 방해가 될 위험이 있어 양방향 필터링으로 제외한다. 남은 샘플을 ΔH 절대값이 가장 작은 순으로 정렬하고, β(≈10 %) 비율만큼 선택한다.

4. 반복적 정제
   초기 선택된 서브셋으로 파인튜닝 후, 새로운 π_inst을 재생성해 다시 ΔNLL·ΔH를 측정하고 선택 과정을 반복한다. 실험에서는 두 번째 반복까지 큰 성능 향상이 관찰됐으며, 이후는 수익 감소가 나타났다.

5. 실험 결과

   • 수학 추론(Qwen2.5‑7B)에서는 전체 데이터 대비 17 % 상대 향상, 특히 AIME 2024에서 +54 % 개선을 기록했다.
   • 일반 지시‑응답(LLaMA3‑8B)에서는 52 % 상대 향상, LC win rate이 8.15 %→12.09 %로 상승했다.
   • 의료 QA와 코드 생성에서도 각각 6 %·5 % 수준의 이득을 얻었다.
   • 모든 베이스라인(무작위, PPL, 길이 기반, 기존 선택 알고리즘 등)보다 우수했으며, 전체 데이터 학습조차 능가했다.

6. 핵심 인사이트

   • 엔트로피 차이는 모델 상태 변화에 직접적인 정보를 제공하며, 도메인 특성을 사전에 정의할 필요 없이 자동으로 적응한다.
   • ΔNLL 기반 필터링은 학습 신호가 과도하거나 부족한 샘플을 제거해 노이즈를 최소화한다.
   • 최소 ΔH 원칙은 ‘학습 가능한 경계’를 탐색함으로써 데이터 효율성을 극대화한다는 새로운 패러다임을 제시한다.

이러한 분석을 통해 InstructDiff는 데이터 양을 크게 줄이면서도 성능을 향상시키는 실용적인 솔루션으로, 향후 다양한 LLM 파인튜닝 시나리오에 적용 가능성이 높다.