변분 베이지안 신경망으로 초전도체 임계온도 예측

초록

본 연구는 일본 NIMS의 SuperCon 데이터베이스를 활용해 초전도체의 화학 조성만으로 임계온도(Tc)를 예측하는 변분 베이지안 신경망(VBNN) 모델을 제안한다. 변분 추론을 통해 가중치의 사후 분포를 근사하고, Monte Carlo 샘플링 기반의 확률적 최적화를 적용해 모델의 불확실성을 정량화한다. 실험 결과, VBNN은 기존 회귀 모델 대비 예측 정확도가 향상될 뿐 아니라, 요소별 중요도와 예측 신뢰구간을 제공함으로써 해석 가능성을 크게 높인다.

상세 분석

이 논문은 초전도체의 임계온도(Tc) 예측 문제를 ‘생성적’ 머신러닝 프레임워크로 재구성한다는 점에서 의미가 크다. 기존의 블랙박스 회귀 모델(예: 랜덤 포레스트, 전통적 딥러닝)은 높은 예측 성능을 보였지만, 가중치와 입력 변수 간의 관계를 해석하기 어려웠다. 저자들은 변분 베이지안 신경망(Variational Bayesian Neural Network, VBNN)을 도입해 이러한 한계를 극복하고자 한다.

1. 데이터 전처리 및 피처 엔코딩

   • SuperCon 데이터베이스에서 12,000여 개 이상의 초전도 화합물을 추출하고, 각 화합물의 원소 조성을 원-핫 혹은 원소 비율 기반 벡터로 변환한다.
   • 원소의 전자구조, 원자 반경, 전기음성도 등 물리·화학적 속성을 추가적인 피처로 결합해 모델 입력 차원을 확대한다.

2. 변분 추론(VI) 설계

   • VBNN은 가중치 (w)에 대해 정규분포 형태의 변분 사후 (q_{\phi}(w))를 정의하고, ELBO(Evidence Lower Bound)를 최대화한다.
   • KL 발산 항을 통해 사전 분포와 사후 분포 간 차이를 최소화하면서, 데이터 적합도(로그우도)와의 균형을 맞춘다.
   • 이 과정에서 가중치의 평균과 분산을 동시에 학습함으로써, 각 파라미터가 얼마나 불확실한지를 정량화한다.

3. Monte Carlo 샘플링 기반 최적화

   • ELBO의 기대값을 직접 계산하기 어려우므로, 재파라미터화 트릭(reparameterization trick)을 이용해 가중치를 샘플링하고, 미니배치 SGD(Adam)로 파라미터 (\phi)를 업데이트한다.
   • 학습 단계에서 다중 샘플을 평균해 추정 편향을 감소시키고, 테스트 시에는 다수의 샘플을 통해 예측 평균과 신뢰구간을 제공한다.

4. 성능 평가 및 해석

   • 모델은 80:10:10 비율로 학습·검증·테스트 셋을 분할했으며, MAE(Mean Absolute Error)와 (R^{2}) 점수로 기존 XGBoost, 일반 NN, Gaussian Process와 비교했다.
   • VBNN은 MAE 약 2.8 K, (R^{2}) 0.86을 기록해 가장 우수한 성능을 보였다. 특히, 불확실성이 큰 예측(예: 데이터가 희박한 고(T_c) 영역)에서는 신뢰구간이 넓게 나타나 과신을 방지한다.
   • 가중치 분산 분석을 통해 특정 원소(예: Cu, Fe, Ba)의 기여도가 크게 나타났으며, 이는 물리적 직관과 일치한다. 또한, 잠재 공간(Latent space) 시각화에서 구조적으로 유사한 화합물들이 군집을 이루어, 화합물 간 상관관계를 정량적으로 포착함을 확인했다.

5. 한계와 향후 과제

   • 현재 피처는 주로 조성 정보에 국한돼 있어, 결정구조, 압력·합성 조건 등 추가적인 물리적 변수는 반영되지 않았다.
   • 변분 근사의 품질은 사전 분포 선택에 민감하므로, 보다 풍부한 베이지안 사전(예: 계층적 사전) 도입이 필요하다.
   • 대규모 데이터셋에 대한 스케일링을 위해 변분 추론을 분산 학습 프레임워크와 결합하는 연구가 기대된다.

전반적으로, 변분 베이지안 신경망을 활용해 초전도체 Tc 예측에 불확실성 정량화와 해석 가능성을 동시에 제공한 점이 본 논문의 핵심 기여이며, 재료 과학 분야에서 데이터 기반 설계의 신뢰성을 높이는 중요한 발판이 된다.