재료 과학에서 깨진 신경망 스케일링 법칙: 금속 유전함수 예측

초록

본 연구는 20만 개가 넘는 금속의 유전함수 데이터를 이용해 두 종류의 그래프 신경망(GNN)을 학습하고, 데이터 양과 모델 파라미터 수에 따른 성능 변화를 분석한다. 데이터 규모에 대해서는 지수 0.15‑0.18에서 시작해 약 10⁴⁴‑10⁴⁷개의 샘플을 경계점으로 지수가 0.38‑0.42로 급격히 증가하는 ‘깨진’ 스케일링을 발견했으며, 파라미터 수에 대해서는 단순 파워‑법칙 뒤에 포화 플로어가 존재함을 확인하였다.

상세 분석

본 논문은 재료 과학 분야에서 흔히 겪는 “데이터 부족·고비용” 문제를 해결하기 위해, 금속의 복소 유전함수 ε(ω)와 Drude 주파수 ω_D 를 동시에 예측하는 다목적 그래프 신경망(GNN) 모델을 두 가지 설계(OptiMetal2B, OptiMetal3B)로 구현하였다. 데이터는 고처리량 ab‑initio 계산을 통해 201 361개의 금속 구조에 대해 생성했으며, 이는 기존 광학 데이터셋보다 약 10배 이상 규모가 크다. 모델은 원자 종류, 결합 길이, 결합 각도 등 회전 불변 특성을 입력으로 사용하고, 2‑body와 3‑body 메시지 패싱을 각각 적용해 구조적 상호작용을 포착한다.

스케일링 분석에서는 데이터 양 D와 파라미터 수 N을 독립적으로 변동시켜 검증 손실 L_val( D, N )을 측정하였다. 데이터 스케일링에서는 낮은 데이터 영역(2.5k–10k 샘플)에서 지수 α_D,1 ≈ 0.15–0.18 로 완만한 개선을 보였으며, D_c ≈ 10⁴·⁴–10⁴·⁷ (≈ 25k–50k 샘플)에서 급격히 기울기가 α_D,2 ≈ 0.38–0.42 로 전환되는 ‘깨진’ 파워‑법칙을 확인했다. 이는 초기에는 모델이 데이터 부족으로 “베스트‑guess” 수준에 머물지만, 충분한 샘플이 확보되면 복잡한 전자 구조‑광학 상관관계를 학습해 성능이 비선형적으로 향상된다는 물리적 해석을 가능하게 한다.

파라미터 스케일링에서는 N을 10⁵–10⁸ 범위로 확대했을 때, 모든 아키텍처가 α_N ≈ 0.41–0.58 의 파워‑법칙을 따르다 일정 규모(N₀ ≈ 10⁴·⁴–10⁴·⁹) 이후 손실이 L_∞ ≈ 1.0–1.3 으로 포화함을 발견했다. 특히 3‑body 상호작용을 포함한 OptiMetal3B는 α_N이 낮아 파라미터 증가에 대한 효율이 떨어지지만, 초기 손실이 더 낮아 전체적인 성능은 우수했다.

모델 선택에 따라 메시지 패싱 방식(CG​C vs TC) 차이는 미미했으며, 2‑body와 3‑body 차이는 스케일링 지수보다는 상수 오프셋에 영향을 미치는 것으로 나타났다. 또한 AICc 기반 모델 선택 과정을 통해 데이터 스케일링에 가장 적합한 함수형은 “조정 가능한 진폭 없이 부드럽게 깨진 파워‑법칙”, 파라미터 스케일링에는 “포화 플로어가 있는 파워‑법칙”임을 체계적으로 검증하였다.

2‑차원 스케일링 지도(L(D,N)) 분석은 데이터와 파라미터가 동시에 최적화된 영역에서도 BNSL이 유지됨을 시사한다. 즉, 단순히 모델을 과대 파라미터화한다 해도 데이터 양이 충분히 크지 않으면 깨진 스케일링 현상이 나타난다. 이는 재료 과학에서 데이터 수집 비용을 정량화하고, 모델 용량을 데이터 규모에 맞추는 전략적 설계가 필요함을 강조한다.

요약하면, 금속 광학 특성 예측이라는 고차원 물리량을 대상으로 한 대규모 실험은 (1) 데이터 양에 대한 비선형 스케일링 전이, (2) 파라미터 수에 대한 포화 현상, (3) 모델 아키텍처가 스케일링 지수보다는 절대 성능에 미치는 영향 등을 명확히 밝혀냈으며, 이는 향후 재료 데이터베이스 구축 및 머신러닝 모델 설계에 중요한 가이드라인을 제공한다.