구조제약을활용한신뢰성표현학습

초록

표현공간에불확실성을모델링하고구조적제약을인덕티브바이어스로통합하여예측성뿐아니라안정성·보정성·노이즈내성을갖는신뢰성있는특징을학습하는프레임워크를제안한다

상세 분석

본 논문은전통적인 불확실성 추정이예측단계에국한된점에주목하고,학습된표현그 자체의신뢰성을첫번째목표로전환한다는근본적인패러다임 변화를제시한다. 저자는표현을확률분포로모델링하여각표현의평균과공분산을인코더가직접출력하도록한다. 이때공분산의크기를제어하기위해트레이스또는로그행렬식과같은스칼라함수를사용한불확실성정규화항을목적함수에추가한다. 이는표현이과도하게확산되는것을방지하면서필요한불확실성은보존하도록한다. 구조적제약은그래프라플라시안에기반한제곱합형태로정의되며, 연결된노드간거리제곱을가중합한것과동등함을정리와증명을통해보인다. 이 제약은연결된컴포넌트내에서표현이상수함을강제하거나, 여러 컴포넌트가있을 경우각컴포넌트내에서만상수성을보장한다. 따라서 구조적제약은표현공간에의미있는기하학적구조를부여하면서노이즈에대한탄력성을제공한다. 논문은또한제약을소프트하게취급하여가중치w_ij를통해제약의강도를조절하고, 불완전하거나노이즈가섞인구조정보에도강인하게동작하도록 설계하였다. 이론적 분석 외에, 불확실성 정규화와 구조적 제약을동시 최적화함으로써, 다운스트림 작업(예: 분류, OOD 탐지)에서의 성능향상과표현의 캘리브레이션 향상을실험적으로입증한다. 특히, 분포변화와구조교란에대한내성평가에서 기존방법보다우수한안정성을보이며, 이는표현수준에서불확실성을제어함으로써예측불확실성만을 다루는전통적 접근법의 한계를극복한다는점에서 의의가 크다. 전체적으로 이 연구는표현학습에불확실성 모델링과 구조적 인덕티브 바이어스를통합하는통합프레임워크를제시함으로써, 신뢰성있는표현학습이라는새로운 연구방향을제시한다.