근적외선 스펙트럼 보정을 위한 신경망 앙상블 모델의 향상된 정확도

초록

본 논문은 근적외선(NIR) 스펙트럼의 정량적 보정을 위해 부트스트랩 및 교차검증으로 생성한 다수의 신경망을 앙상블하는 방법을 제안한다. 기존의 선형 회귀 기반 보정 모델과 단일 신경망에 비해 예측 정확도와 모델의 견고성이 크게 향상됨을 실험을 통해 입증한다.

상세 요약

본 연구는 NIR 스펙트럼을 다변량 분석에 활용할 때, 전통적인 선형 회귀(PCR, PLS)보다 비선형성을 효과적으로 포착할 수 있는 신경망(ANN) 기반 모델을 확장한다. 핵심 아이디어는 부트스트랩(bootstrapping) 혹은 k‑fold 교차검증(cross‑validation)으로 훈련 데이터를 재표본화하여 여러 개의 독립적인 ANN을 학습시키고, 이들의 예측값을 평균(또는 가중 평균)하여 최종 예측을 도출하는 ‘앙상블’ 기법이다.

1. 데이터 전처리 및 특징 추출: 원시 NIR 스펙트럼은 잡음, 배경 신호, 스케일 차이 등을 포함하므로, Savitzky‑Golay 필터를 통한 스무딩·미분, 표준 정규화(z‑score) 등을 수행한다. 차원 축소는 주성분 분석(PCA)으로 주요 변동성을 보존하면서 입력 차원을 10~20 수준으로 감소시킨다.

2. 신경망 구조 및 학습: 각 개별 ANN은 2~3개의 은닉층을 갖는 전방향 피드포워드 네트워크이며, 은닉층 활성화 함수는 비선형성을 강화하기 위해 tanh 혹은 ReLU를 사용한다. 학습은 역전파와 확률적 경사 하강법(SGD) 혹은 Adam 옵티마이저로 수행하고, 과적합 방지를 위해 early‑stopping과 L2 정규화를 적용한다.

3. 앙상블 생성 방법:

   • 부트스트랩 앙상블: 원본 훈련 집합에서 복원 추출을 통해 N개의 부트스트랩 샘플을 만든다. 각 샘플에 대해 독립적인 ANN을 학습한다.
   • 교차검증 앙상블: k‑fold 교차검증을 이용해 k개의 훈련/검증 분할을 만든 뒤, 각 훈련 부분집합으로 ANN을 학습한다.

   두 방법 모두 모델 간의 상관성을 낮추어 분산 감소 효과를 극대화한다.

4. 예측 결합 및 불확실성 추정: 각 ANN이 출력한 농도 예측값을 단순 평균하거나, 검증 성능에 기반한 가중 평균을 적용한다. 또한, 개별 모델들의 예측 분산을 이용해 예측 신뢰구간을 제공함으로써 실험적 불확실성을 정량화한다.

5. 성능 평가: 실험 데이터는 실제 산업 현장에서 수집한 복합 혼합물(예: 식품 성분, 제약 원료)이며, 평가 지표는 RMSEP(root‑mean‑square error of prediction), bias, R², 그리고 통계적 유의성 검증(ANOVA, t‑test)이다. 결과는: (1) 단일 ANN 대비 RMSEP가 평균 15 % 감소, (2) 선형 PLS 모델 대비 20 % 이상 향상, (3) 부트스트랩 앙상블이 교차검증 앙상블보다 약간 높은 안정성을 보였다.

6. 장점 및 한계: 앙상블은 모델의 편향은 유지하면서 분산을 크게 감소시켜 일반화 능력을 강화한다. 또한, 다중 모델을 활용해 예측 불확실성을 추정할 수 있다. 반면, 학습에 필요한 계산량이 증가하고, 충분한 훈련 데이터가 없을 경우 부트스트랩 샘플이 서로 중복되어 다양성이 떨어질 위험이 있다.

7. 향후 연구 방향: 더 깊은 구조의 딥러닝(예: 1‑D CNN, LSTM)를 적용해 스펙트럼의 지역적 패턴을 자동 추출하거나, 베이지안 신경망을 도입해 사전 확률을 활용한 불확실성 모델링을 시도할 수 있다. 또한, 물리‑화학적 모델과 데이터‑드리븐 모델을 결합한 하이브리드 보정 체계도 기대된다.