시드값이 바꾸는 성능·안정성, LSTM 시퀀스 태깅 평가 혁신

본 논문은 딥러닝 기반 시퀀스 태깅 모델, 특히 LSTM 네트워크의 평가 방법론에 근본적인 문제점을 제기한다. 기존 연구들은 보통 하나의 실험 실행 결과, 즉 단일 F1 점수나 정확도만을 보고함으로써 모델의 성능을 비교한다. 그러나 LSTM과 같은 비결정적 모델은 가중치 초기화, 데이터 셔플, 드롭아웃 마스크 등 무작위 요소에 크게 의존한다. 이러한 무작위성은 동일한 하이퍼파라미터 설정에서도 서로 다른 로컬 최소점으로 수렴하게 만들며, 그 결과 테스트 성능이 크게 달라질 수 있다. 연구자는 먼저 두 대표적인 NER 시스템인 Ma & Hovy(2016)와 Lample et al.(2016)을 각각 86번·41번씩 다른 시드로 재실행하였다. 결과는 F1 점수가 89.99 %에서 91.00 %까지 변동했으며, 통계적 검정(Kolmogorov‑Smirnov)에서 p < 0.01로 유의미한 차이를 보였다. 특히 Lample 시스템은 평균적으로 더 높은 사분위수와 낮은 표준편차를 보여, 점수 분포 자체가 더 우수함을 확인했다. 개발 셋과 테스트 셋 간의 상관관계는 ρ = 0.229에 불과해, 개발 셋에서 최고 성능을 보인 모델이 테스트 셋에서도 최고가 될 보장이 없음을 시사한다. 다음으로 저자는 5개의 전통적인 시퀀스 태깅 작업—POS 태깅, Chunking, NER, Entity Recognition(ACE 2005), Event Detection(TempEval‑3)—을 실험 대상으로 삼았다. 각 작업마다 1 800개의 서로 다른 하이퍼파라미터 조합을 무작위로 샘플링하고, 각 조합을 두 개의 시드로 학습해 점수 차이를 측정했다. 가장 큰 차이는 ACE 2005 엔티티 데이터에서 관찰되었으며, 최악·최선 시드 간 F1 차이가 8.23 %p에 달했다. 다른 작업에서도 중간값 차이(0.17 %p~0.72 %p)와 95번째 백분위 차이(0.50 %p~2.10 %p)가 통계적으로 유의미하게 나타났다. 이는 무작위 시드가 모델 성능에 미치는 영향이 작업마다 다르지만, 전반적으로 무시할 수 없을 정도로 큰 변동성을 야기한다는 것을 보여준다. 아키텍처 탐색 단계에서는 사전 훈련 임베딩(Word2Vec, GloVe, FastText 등), 문자 레벨 표현(CNN vs. LSTM), 옵티마이저(SGD, AdaGrad, Adam, Nadam 등), 그래디언트 클리핑·정규화, 태깅 스킴(BIO vs. IOBES), 드롭아웃 종류와 비율, 출력 레이어(CRF vs. Softmax), LSTM 레이어 수·유닛 수·배치 크기 등 14개의 설계 선택지를 체계적으로 평가했다. 실험 결과, 변동성이 낮고 평균 성능이 높은 최적 조합은 다음과 같다: (1) GloVe 300‑dim 임베딩, (2) 문자 레벨 LSTM, (3) Adam + Nadam 혼합 옵티마이저, (4) variational dropout(0.25), (5) 2‑stack BiLSTM, (6) 유닛 수 100, (7) 배치 크기 32, (8) CRF 출력 레이어. 이 구성은 모든 5개 작업에서 평균 F1를 약 1.2 %p 상승시키고, 표준편차를 30 % 이상 감소시켰다. 논문의 핵심 제안은 “점수 분포” 기반 평가이다. 단일 점수 대신 여러 시드에 대한 성능 분포를 보고, 통계적 검정(Kolmogorov‑Smirnov, Brown‑Forsythe)과 베이지안 신뢰구간을 활용해 두 모델 간 차이를 정량화한다. 이를 통해 (1) 무작위 시드에 의한 우연한 성능 향상을 배제하고, (2) 실제로 우수한 모델을 식별하며, (3) 재현성을 크게 향상시킬 수 있다. 저자는 또한 이러한 평가 방식이 하이퍼파라미터 튜닝 비용을 절감하고, 실무 적용 시 모델 선택 위험을 낮추는 데 기여할 것이라고 주장한다. 결론적으로, 본 연구는 비결정적 딥러닝 모델의 평가에 있어 기존 관행을 재고하고, 점수 분포를 활용한 보다 견고하고 투명한 비교 방법을 제시한다. 이는 향후 NLP 및 기타 분야에서 딥러닝 모델의 성능 보고와 재현성을 표준화하는 데 중요한 이정표가 될 것으로 기대된다.