특징 가중치를 활용한 신경망 성능 향상

초록

**
본 논문은 각 특성의 중요도를 목표 변수와의 상관계수로 정의하고, 이를 신경망 학습 과정에 직접 반영하는 Correlation‑Aided Neural Network(CANN)를 제안한다. CANN은 기존의 피드‑포워드 신경망 손실에 ‘상관 오류’ 항을 추가해 데이터 오차와 상관 오차를 동시에 최소화한다. 실험 결과, CANN은 여러 공개 데이터셋에서 표준 MLP, C4.5, SVM 등과 비교해 정확도와 학습 속도 모두 우수함을 보였다.

**

상세 분석

**
CANN의 핵심 아이디어는 ‘특징 중요도’를 통계적 상관계수 (I_k=\rho (X_k,Y)) 로 정의하고, 이를 신경망 가중치 학습에 제약조건으로 삽입하는 것이다. 기존의 피드‑포워드 신경망은 오직 훈련 데이터의 평균제곱오차 (E_D) 만을 최소화하지만, CANN은 추가적으로 상관오차 (E_c=\frac12\sum_k\bigl(\rho (X_k,Y)-\hat\rho (X_k,\hat Y)\bigr)^2) 를 손실에 포함한다. 여기서 (\hat\rho)는 현재 네트워크 출력 (\hat Y)와 입력 특성 (X_k) 사이의 표본 상관계수이며, 평균과 공분산을 실시간으로 업데이트한다.

학습 단계에서는 전체 손실 (E=E_D+\lambda E_c) 에 대해 역전파를 수행한다. 기존의 가중치 업데이트 식 (\Delta w = -\eta \frac{\partial E_D}{\partial w})에 (-\eta\lambda\frac{\partial E_c}{\partial w}) 항이 추가되어, 상관계수를 유지하려는 방향으로 가중치가 조정된다. (\lambda)는 상관오차의 중요도를 조절하는 스케일링 상수이며, 논문에서는 (