대규모 언어모델의 도덕 판단 스케일링 법칙

초록

본 연구는 0.27 B에서 1000 B 파라미터까지 75개의 대형 언어모델을 Moral Machine 시나리오에 적용해 인간 도덕 선호와의 거리(D)를 측정하였다. 모델 크기(S)와 D 사이에 D ∝ S⁻⁰·¹⁰±⁰·⁰¹이라는 파워‑법칙이 발견됐으며, 혼합효과 모델을 통해 모델 패밀리와 추론 능력(extended reasoning)을 통제해도 이 관계가 유지됨을 확인했다. 특히 작은 모델일수록 추론 기능이 도덕 정렬에 큰 영향을 미치는 것으로 나타났다.

상세 분석

이 논문은 최근 AI 안전·거버넌스 분야에서 뜨거운 이슈인 ‘가치 정렬(value alignment)’을 정량적으로 검증하기 위해, 기존 Moral Machine 데이터베이스를 활용한 새로운 실험 설계를 제시한다. 75개의 모델은 Llama, Gemma, Qwen, DeepSeek 등 다양한 오픈‑소스 패밀리와 GPT·Claude와 같은 클로즈드 API를 포함하며, 각 모델은 파라미터 수에 따라 0.27 B에서 1000 B까지 고르게 분포한다.

1. 평가 지표 설계

   • 각 시나리오에 대해 9개의 도덕 요인(연령, 성별, 사회적 지위 등)의 평균 한계 효과(AMCE)를 계산하고, 인간 데이터와의 유클리드 거리 D를 구한다.
   • D가 작을수록 모델이 인간 집단의 도덕 선호 분포를 잘 재현한다는 의미이며, 이는 “정답”이 없는 다중 가치 상황에서 의미 있는 정렬 척도로 작동한다.

2. 스케일링 분석

   • 로그‑선형 회귀(log₁₀D ~ log₁₀S)를 적용해 파워‑법칙 지수 α = 0.10 ± 0.01을 추정했고, R² = 0.50이라는 비교적 높은 설명력을 보였다.
   • 대안 모델(선형, 로그, 지수)와의 AIC/BIC 비교에서도 파워‑법칙이 가장 적합함을 확인했다.
   • 스피어만 상관계수 ρ = ‑0.73 (p < 10⁻¹³)으로 크기가 클수록 인간 선호와의 거리 감소가 일관되게 나타났다.

3. 혼합효과 모델

   • 모델 패밀리를 랜덤 효과로 두고, 고정 효과에 ‘크기’, ‘출시 연도’, ‘추론 기능(extended reasoning)’을 포함한 4단계 모델을 구축했다.
   • 출시 연도는 모델 성능에 유의미한 영향을 주지 않았으며(χ² = 0.10, p = 0.76), 크기와 추론 기능은 각각 독립적으로 D를 감소시켰다(β = ‑0.12, ‑0.16, p < 0.001).
   • 크기 × 추론 상호작용(β = 0.057, p = 0.024)은 작은 모델일수록 추론 기능이 도덕 정렬에 더 큰 효과를 발휘한다는 점을 시사한다.

4. 분산 감소 현상

   • 규모가 커질수록 D의 분산이 현저히 감소해, 대형 모델이 보다 일관된 도덕 판단을 제공함을 시각적으로 확인했다. 이는 ‘신뢰성’ 측면에서 스케일링이 단순히 평균 성능 향상뿐 아니라 변동성 감소까지 가져온다는 중요한 함의를 가진다.

5. 제한점 및 향후 과제

   • 데이터는 2024‑2025년 사이에 출시된 모델에 국한돼 있어 장기적인 시간 흐름에 따른 기술 진보를 완전히 포착하지 못한다.
   • 파라미터 수 외에도 토큰 수, 학습 데이터 다양성, 정렬(Alignment) 단계의 세부 설계가 영향을 미칠 가능성이 있으나 현재 분석에서는 통제되지 않았다.
   • Moral Machine 자체가 문화·지역별 편향을 포함할 수 있으므로, 다문화·다국가적 가치 체계에 대한 추가 검증이 필요하다.

핵심 인사이트

• 대형 언어모델은 파라미터 규모가 증가함에 따라 인간 도덕 선호와의 정렬이 예측 가능한 파워‑법칙 형태로 개선된다.
• 추론 전용 모드(extended reasoning)는 특히 파라미터가 제한된 소형 모델에서 도덕 판단 성능을 크게 끌어올리는 효과가 있다.
• 스케일링은 평균 성능 향상뿐 아니라 결과 변동성 감소를 동반해, 실제 안전‑중요 시스템에 적용할 때 신뢰성을 높인다.