시계열 메모리 기반 잡음 레이블 학습

초록

ChronoSelect는 각 샘플의 예측 이력을 네 개의 시간 단계 메모리로 압축하고, 슬라이딩 업데이트와 감쇠 메커니즘을 통해 최신 정보를 강조하면서도 장기적인 학습 패턴을 유지한다. 이를 바탕으로 깨끗한 샘플, 경계 샘플, 잡음 샘플을 자동으로 3‑way 분류하고, 각각에 맞는 손실 함수를 적용해 노이즈가 많은 데이터에서도 강인한 성능을 달성한다.

상세 분석

ChronoSelect는 기존 LNL(노이즈 라벨 학습) 방법이 갖는 “정적 스냅샷” 한계를 극복하기 위해 학습 과정 전체를 시간적 흐름으로 모델링한다. 핵심 아이디어는 각 샘플에 대해 네 개의 메모리 유닛—Long‑term, Mid‑term, Short‑term, Immediate—을 두고, 매 epoch마다 새로운 예측을 가장 최신 메모리(Immediate)로 삽입하면서 상위 메모리로 순차적으로 전이시키는 슬라이딩 업데이트 방식을 채택한다. 수식 (5)에서 보듯, 오래된 정보는 점진적으로 감쇠(β 계수)되고, 최신 정보는 가중치가 크게 반영된다(α 계수). 이러한 설계는 생물학적 ‘망각’ 메커니즘을 모방해 초기 학습 단계에서는 급격히 새로운 패턴을 흡수하고, 후반부에서는 안정적인 과거 지식을 보존한다는 장점을 제공한다.

이 메모리 구조는 두 가지 중요한 시그니처를 추출한다. 첫째, Γₜ(x)는 네 단계의 손실이 단조 감소하는지를 검사해 수렴 여부를 판단한다. 이는 깨끗한 샘플이 학습 초기에 빠르게 손실을 감소시키고 이후에도 일관된 예측을 유지한다는 가정을 정량화한다. 둘째, ψ(x)는 두 뷰(워드와 스트롱) 네트워크 간 예측 일치도를 0~1 사이의 값으로 측정한다. 높은 일치도는 모델이 해당 샘플에 대해 확신을 가지고 있음을 의미한다.

이 두 시그니처를 결합해 샘플을 다음과 같이 3‑way로 분류한다.

• Clean (D_c): Γₜ=1이며 ψ=1, 즉 손실이 지속적으로 감소하고 두 뷰가 완전 일치한다.
• Boundary (D_b): Γₜ=1이지만 ψ<1, 손실은 수렴하지만 뷰 간 불일치가 존재해 결정 경계 근처에 있음을 나타낸다.
• Noisy (D_n): Γₜ=0, 즉 손실이 불안정하거나 상승하고 ψ도 낮아 라벨 자체가 잘못되었을 가능성이 높다.

이후 각 그룹에 맞는 손실 함수를 적용한다. Clean 샘플은 표준 교차 엔트로피 손실을 사용해 강하게 학습하고, Boundary 샘플은 라벨 스무딩 및 정규화 손실을 결합해 경계 정보를 보존한다. Noisy 샘플은 가중치를 크게 낮추거나 가짜 라벨을 교정하는 방식(예: 라벨 스무딩 + 정규화)으로 학습에 미치는 영향을 최소화한다.

이론적 측면에서 저자들은 메모리 수렴 정리와 안정성 정리를 제시한다. 정리 3.1은 t→∞일 때 모든 메모리 유닛이 모델의 안정된 예측 p*에 수렴함을 보이며, 감쇠 계수 βₜ가 0에 수렴함을 이용해 오류가 O(1/t)로 감소한다는 점을 증명한다. 정리 3.2는 외부 잡음에 의해 발생하는 예측 교란 ε가 메모리 전체에 미치는 영향을 상한 4·ε/(t+1)+O(1/t²)로 제한함으로써 메모리 시스템이 잡음에 대해 강인함을 보인다.

실험에서는 CIFAR‑10/100, Clothing1M, WebVision 등 합성 및 실제 잡음 데이터셋에서 기존 최첨단 방법(Co‑Teaching+, JoCoR, DivideMix 등)을 능가하는 정확도를 기록했다. 특히 높은 잡음 비율(80% 이상)에서도 3‑way 분류가 효과적으로 작동해 전체 성능 저하를 최소화했다. 메모리 오버헤드는 샘플당 4개의 벡터만 저장하므로 기존 k‑epoch 윈도우 방식보다 메모리 사용량이 크게 절감된다.

요약하면 ChronoSelect는 (1) 시간적 메모리 압축, (2) 슬라이딩 감쇠 업데이트, (3) 두 뷰 일관성 기반 3‑way 샘플 분류, (4) 이론적 수렴·안정성 보장을 통해 노이즈 라벨 학습 문제를 새로운 차원에서 해결한다는 점에서 의의가 크다.