검증 기준 재고 모델 선택을 위한 새로운 시각

본 논문은 신경망 기반 분류 모델에서 검증 집합을 이용한 파라미터 선택이 최종 테스트 성능에 미치는 영향을 정밀하게 탐구한다. 연구 배경으로는 학습 단계에서 사용되는 손실 함수와 최종 평가 단계에서 사용되는 메트릭(예: 정확도) 사이에 존재하는 ‘손실‑메트릭 불일치’ 문제가 제기된다. 기존 연구들은 주로 손실 함수를 개선하거나 정규화 기법을 도입해 일반화를 향상시키는 데 초점을 맞췄지만, 검증 단계에서 어떤 기준을 사용해 모델을 선택할지가 최종 성능에 미치는 영향은 충분히 조사되지 않았다. 이를 해결하기 위해 저자들은 다음과 같은 실험 설계를 제시한다. 첫째, 모델 구조는 복잡성을 최소화하기 위해 단일 은닉층을 가진 완전 연결 신경망을 사용한다. 이는 깊이와 비선형성에 따른 최적화 동역학을 배제하고 검증 기준 자체의 효과를 순수하게 측정하기 위함이다. 둘째, 학습 손실은 교차 엔트로피, C‑Loss, PolyLoss 세 가지를 사용해 각각의 손실이 검증 기준 선택에 미치는 영향을 비교한다. 셋째, 검증 기준은 정확도와 세 가지 손실 함수(교차 엔트로피, C‑Loss, PolyLoss)를 독립적으로 적용한다. 마지막으로 모델 선택 전략은 (i) patience 기반 조기 종료와 (ii) 전체 에포크를 모두 수행한 뒤 사후에 최적 검증 점수를 가진 체크포인트를 선택하는 두 가지 방법을 비교한다. 실험은 UCI 머신러닝 저장소의 여러 표준 데이터셋(클래스 수와 샘플 수가 다양한 데이터)에서 5‑fold 교차 검증을 수행해 평균 및 분산을 추정한다. 각 에포크마다 검증 손실과 검증 정확도를 기록하고, 조기 종료 시점은 patience T=5(또는 데이터에 따라 변동)로 설정한다. 사후 선택은 전체 에포크 E=200(예시) 중 검증 손실이 최소이거나 정확도가 최대인 에포크를 찾아 해당 모델을 테스트한다. 핵심 결과는 세 가지로 요약된다. 첫째, 검증 정확도를 기준으로 조기 종료를 적용하면 테스트 정확도가 일관되게 낮아진다. 이는 정확도가 손실에 비해 변동성이 크고, 작은 정확도 감소에도 조기 종료가 트리거되기 때문에 학습이 충분히 진행되지 못하는 현상이 발생한다는 점을 보여준다. 둘째, 검증 손실(교차 엔트로피, C‑Loss, PolyLoss)을 기준으로 할 경우, 조기 종료와 사후 선택 모두 테스트 정확도에서 비슷한 평균 성능을 보이며, 성능 변동도 크게 감소한다. 손실 기반 검증은 모델이 예측 확률을 얼마나 잘 추정하는지를 직접 측정하므로, 일반화 능력을 더 정확히 반영한다는 것이 실험적으로 입증된다. 셋째, 모든 검증 기준을 적용했음에도 불구하고, 전체 에포크 중 테스트 정확도가 가장 높은 모델(테스트 최적점)보다 선택된 모델이 통계적으로 유의미하게 낮은 성능을 보인다. 이는 검증 집합이 제한된 샘플로 인해 최적 모델을 완벽히 식별하지 못한다는 일반적인 한계를 확인시킨다. 통계적 검증을 위해 부트스트랩 재표본추출과 Wilcoxon signed‑rank 검정을 수행했으며, 손실 기반 검증이 정확도 기반보다 p‑값 < 0.01 수준에서 유의하게 우수함을 확인했다. 또한, 데이터셋별로 클래스 불균형 정도와 샘플 수가 다름에도 불구하고 동일한 패턴이 관찰돼 결과의 일반화 가능성을 뒷받침한다. 논문의 실용적 시사점은 다음과 같다. 첫째, 조기 종료를 사용할 경우 검증 정확도 대신 검증 손실을 모니터링하는 것이 과도한 조기 중단을 방지하고 더 나은 일반화 모델을 얻는 데 도움이 된다. 둘째, 사후 체크포인트 선택을 적용하더라도 손실 기반 검증이 가장 안정적인 성능을 제공한다. 셋째, 어느 단일 검증 기준도 전체 에포크 중 최적 모델을 완전히 대체하지 못하므로, 다중 기준을 결합하거나 검증 집합을 확대하는 방안을 고려해야 한다. 결론적으로, 이 연구는 검증 단계에서 손실 함수를 사용하는 것이 모델 선택의 안정성을 높이고 테스트 정확도를 향상시키는 데 효과적임을 실증한다. 향후 연구에서는 더 복잡한 네트워크 구조, 비균형 데이터, 그리고 메타‑학습 기반 검증 기준을 탐색함으로써 검증 기준 선택의 범위를 넓히는 것이 필요하다.