대형 언어 모델 개발에 숨은 비법이 있을까

초록

본 연구는 2022‑2025년 사이에 공개된 809개 LLM의 학습 규모와 MMLU‑Pro 점수를 활용해 규모‑효율성, 공유 알고리즘 진보, 기업 고유의 “시크릿 소스” 및 모델 고유 요인을 분해한다. 결과는 최전선 모델에서는 80‑90% 성능 차이가 단순히 더 많은 학습 연산량에 기인함을 보여주지만, 비전선에서는 기업별 효율성 차이가 14‑34%까지 기여한다는 점을 밝혀낸다. 기업 간·내 효율성 차이는 40배 이상이며, 2022‑2023 대비 2024‑2025에는 공유 알고리즘 진보가 실효 연산량을 7.5배 향상시켰다.

상세 분석

본 논문은 LLM 성능을 네 가지 요인으로 정량화한다: (1) 규모 효과—학습 연산량(log compute)의 로그 변환값이 성능(logit MMLU‑Pro)과 0.79의 회귀계수를 보이며, 10배 연산 증가 시 로그오즈가 0.79 상승한다는 점에서 강력한 예측력을 가진다. (2) 공유 알고리즘 진보는 시점 고정 효과(period dummies)로 모델링했으며, 2022 Q4‑2023 Q3 대비 2024 Q3‑2025 Q1에 동일 성능을 달성하려면 7.5배 더 많은 연산이 필요했음을 보여준다. 이는 알고리즘·데이터·프레임워크 개선이 실질적인 연산 효율을 크게 끌어올렸음을 의미한다. (3) 기업 고유 효율성, 즉 “시크릿 소스”는 기업 더미(ν j)로 추정했으며, 주요 기업(DeepSeek, Google, Microsoft 등)은 평균 2.3 ~ 60.5배의 연산 효율 차이를 보였다. 특히 Microsoft은 60배에 달하는 효율성을 기록했으며, 이는 고품질 데이터, 특화된 파인튜닝, 교사 모델 활용 등 독자적인 엔지니어링 역량을 반영한다. (4) 모델 고유 요인(ε i)은 회귀 잔차로 남으며, 90th와 10th 퍼센타일 사이에 41배의 효율 차이가 존재한다. 이는 동일 기업 내에서도 설계·학습·튜닝 전략에 따라 큰 변동이 있음을 시사한다.

스케일링 분석에서 전체 표본의 R²는 0.52이며, 주요 기업만을 대상으로 하면 0.45~0.55 수준으로 상승한다. Shapley 분해 결과, 전체 변동성 중 규모 효과는 32% (전체) → 45% (주요 기업) 정도를 차지하고, 기업 고유 효율은 14%~34%로 두드러진다. 모델 고유 요인은 32%~47%로 가장 큰 잔차를 남긴다. 이는 단순히 연산량만으로는 설명되지 않는 미세 조정·특화·실험적 요소가 여전히 중요함을 보여준다.

전선 모델(상위 5% MMLU‑Pro 점수)에서는 연산량 차이가 5,000배에 달하며, 이때 기업 고유 효율은 전체 변동성의 10% 이하에 불과하다. 반면 비전선(중소 규모 모델)에서는 기업 효율이 30%~40%까지 기여해, 동일 연산량 대비 성능 격차를 크게 만든다. 따라서 “시크릿 소스”는 최전선 경쟁보다는 비용 효율적인 모델 개발, 인프라 접근성이 제한된 환경에서의 경쟁력 확보에 핵심적이다.

정책적 함의로는, 연산 자원에 대한 접근이 제한된 국가·기업은 규모만으로는 최전선에 도달하기 어려우며, 공유 알고리즘 진보와 기업 고유 기술의 확산이 AI 민주화에 필수적이라는 점을 들 수 있다. 또한, 기업 내부에서도 모델 설계·학습 파이프라인 최적화가 큰 효율 차이를 만든다는 점은 인재·조직 역량 투자 중요성을 강조한다.