이중 기준 커리큘럼 학습: 시계열 데이터에의 적용

초록

본 논문은 손실 기반 난이도와 데이터 밀도 기반 난이도를 결합한 Dual‑Criterion Curriculum Learning(DCCL) 프레임워크를 제안한다. 시계열 예측을 테스트베드로 삼아, 변형된 One‑Pass와 Baby‑Steps 스케줄에 적용한 결과, 단일 손실 기준보다 학습 속도와 일반화 성능이 향상됨을 실증한다.

상세 분석

DCCL은 기존 커리큘럼 학습(Curriculum Learning, CL)의 핵심 요소인 ‘난이도 측정기’를 두 축으로 확장한다. 첫 번째 축은 모델이 현재 예측한 손실값을 직접 난이도로 사용한다(손실‑기반). 이는 Self‑Paced Learning과 유사하게 현재 모델이 어려워하는 샘플을 자동으로 식별한다는 장점이 있다. 그러나 손실값은 학습 초기에 불안정하거나 과적합 위험이 있는 경우 신뢰도가 떨어질 수 있다. 두 번째 축은 데이터 자체의 ‘밀도’를 활용한다. 저밀도 영역에 위치한 샘플은 표현 공간에서 드물고, 따라서 모델이 일반화하기 어려운 경우가 많다. 저밀도 샘플을 ‘어려움’으로, 고밀도 샘플을 ‘쉬움’으로 매핑함으로써, 데이터 구조적 특성을 난이도에 반영한다. 밀도 추정은 k‑Nearest‑Neighbor(k‑NN)와 커널 밀도 추정(KDE) 두 가지 방법을 제안하고, 각각의 장단점을 논의한다. k‑NN은 계산이 간단하지만 경계 효과에 민감하고, KDE는 부드러운 확률 밀도를 제공하지만 대규모 데이터에서 비용이 높다.

두 기준을 결합하는 방식은 크게 세 가지로 설계되었다. (1) 정규화된 손실과 정규화된 밀도 점수를 가중합하여 단일 난이도 스코어를 만든 ‘선형 결합’ 방식, (2) 두 점수를 독립적으로 정렬한 뒤, 교차점 기반으로 샘플을 배치하는 ‘다중 계층’ 방식, (3) 2‑D 스코어 공간에서 클러스터링을 수행해 난이도 버킷을 자동 생성하는 ‘2‑D 버킷팅’ 방식이다. 이 중 선형 결합은 구현이 가장 간단하고, 가중치를 조정함으로써 손실과 밀도 간의 상대적 중요도를 자유롭게 조절할 수 있다.

실험은 다변량 시계열 벤치마크(예: Electricity, Traffic, Weather 등)와 최신 Transformer 기반 예측 모델을 사용했다. One‑Pass와 Baby‑Steps 두 스케줄 모두에서 DCCL‑Hybrid(손실+밀도) 커리큘럼이 손실‑전용 커리큘럼보다 평균 2‑3%의 MAE/SMAPE 개선을 보였으며, 특히 데이터가 불균형하거나 잡음이 많은 경우 개선 폭이 크게 나타났다. 또한, 학습 곡선을 살펴보면 초기 단계에서 고밀도·저손실 샘플을 먼저 학습함으로써 빠른 수렴을 달성하고, 이후 점진적으로 희소·고손실 샘플을 도입해 과적합을 방지하는 효과가 확인되었다.

한계점으로는 밀도 추정 단계에서 추가적인 계산 비용이 발생한다는 점과, 표현 학습 모델(ϕθ)의 선택에 따라 밀도와 실제 난이도 간의 정합성이 크게 달라질 수 있다는 점을 들 수 있다. 저자는 향후 메타‑학습을 통한 가중치 자동 튜닝 및 온라인 밀도 업데이트 기법을 연구할 계획이라고 밝힌다.