데이터 품질을 활용한 관성 학습으로 탭형 데이터의 강인성 강화

초록

QuAIL은 열 수준의 신뢰도 점수를 활용해 학습 과정에 품질 인식을 삽입한다. 특징별 게이팅 레이어와 품질 가중 근접 정규화를 결합해 신뢰도가 낮은 특성의 파라미터 변화를 억제하고, 신뢰도가 높은 특성은 자유롭게 적응하도록 만든다. 50개의 탭형 데이터셋에 대해 무작위·값 의존적 손상 상황을 시뮬레이션한 결과, 기존 MLP와 커리큘럼 학습 기반 모델보다 일관된 성능 향상을 보이며 특히 데이터가 적거나 체계적 편향이 강한 경우에 강인성을 크게 개선한다.

상세 분석

QuAIL의 핵심 아이디어는 두 단계로 구성된다. 첫 번째는 입력 피처마다 학습 가능한 스칼라 게이트 g 를 도입해 원본 피처 x 와 원소별 곱을 수행함으로써 피처별 스케일을 동적으로 조절하는 것이다. 이 게이트는 기존 신경망 구조와 완전히 호환되며, 파라미터 θ 와 동시에 역전파를 통해 최적화된다. 두 번째는 품질‑가중 근접 정규화 L_gate 이다. 각 피처에 대해 사전에 정의된 신뢰도 점수 q_j∈