학습은 안정적으로 수렴하지만, 숨겨진 신뢰도 때문에 잘못된 믿음에 머물 수 있다

초록

피드백의 신뢰도가 관찰되지 않을 때, 단일 단계의 손실·보상 감소만으로는 학습이 올바른 해에 도달했는지 판단할 수 없다. 저자는 이러한 ‘잠재적 신뢰도’ 문제를 이론적으로 분석하고, 학습 궤적 전체에서 추출한 안정성 지표를 이용해 신뢰도를 추정·조절하는 Monitor‑Trust‑Regulator(MTR) 프레임워크를 제안한다. 실험은 강화학습과 지도학습 모두에서 기존 알고리즘이 편향된 피드백에 대해 안정적으로 잘못된 해로 수렴함을 보이며, MTR을 적용한 시스템은 편향을 억제하고 정상적인 성능 회복을 가능하게 한다.

상세 분석

본 논문은 “잠재적(feedback) 신뢰도(latent reliability)”라는 개념을 도입하여, 피드백이 신뢰할 수 있는지 여부가 관측되지 않을 때 발생하는 학습의 구조적 한계를 규명한다. 핵심 가정은 피드백이 ‘신뢰 가능한’ 상태와 ‘신뢰 불가능한’ 상태를 번갈아 가며, 각 상태는 일정 기간(길이 ≥ W) 지속된다는 점이다. 단일 샘플 수준에서는 두 상태가 구별되지 않으며, 따라서 SGD, Adam 등 전통적 최적화 기법은 편향된 그라디언트(b) 를 진짜 그라디언트와 구분하지 못하고, θ ← θ − η(g+ b) 형태의 업데이트를 수행한다. 이 경우 손실은 계속 감소하고 그라디언트 크기도 점차 0에 수렴하지만, 최종 파라미터는 θ* − b 라는 잘못된 고정점에 머문다(정리 1).

이러한 현상은 ‘식별 불가능성(identifiability)’ 문제와 동일시될 수 있다. 즉, 관측 가능한 데이터 분포만으로는 진짜 파라미터와 편향된 파라미터를 구분할 수 없으며, 무한 데이터가 주어져도 구조적 모호성이 남는다. 저자는 이 한계를 극복하기 위해 학습 궤적 전체에 걸친 통계량 Sₜ = (1/W)∑ₖ‖θₜ₋ₖ − θₜ₋ₖ₋₁‖² 를 정의한다. 충분히 큰 윈도우 W와 작은 학습률 η 하에서, Sₜ는 각각의 신뢰도 상태 i∈{0,1}에 대해 E