동적 특성 선택을 위한 모델 불가지론 프레임워크와 불확실성 정량화

초록

본 논문은 사전 학습된 분류기와 호환되는 모델-불가지론(dynamic) 특성 선택 방법을 제안한다. 동적 특성 선택 과정에서 발생하는 에피스테믹·알레아토릭 불확실성을 이론적으로 분석하고, 부분 관측에 대한 재파라미터화 기법으로 기존 모델을 효율적으로 적응시킨다. 실험을 통해 제안 방법이 최신 그리디·강화학습 기반 DFS와 경쟁적인 정확도를 보이며, 기존 방법에서도 동일한 불확실성 문제가 존재함을 확인한다.

상세 분석

논문은 먼저 동적 특성 선택(DFS)이 정적 상황과 달리 두 종류의 불확실성—에피스테믹(모델 파라미터에 대한 불확실성)과 알레아토릭(데이터 자체의 잡음)—을 부분 집합에 의존적으로 만든다는 점을 수학적으로 증명한다. 특히, 전역 모델 θ를 모든 가능한 특성 부분집합 S에 대해 최적화하면, 각 S에 대해 별도로 학습된 최적 모델 θ*_S와 위험 차이 Δ_S=R_S(f_θ)−R_S(f_θ*_S) 가 발생한다. Δ_S가 양수이면 전역 모델이 해당 부분집합에 대해 과도하게 일반화되어 성능 저하가 일어나며, 이는 에피스테믹 불확실성의 근원이다.

알레아토릭 불확실성은 결측 특성을 평균·제로 등 고정값으로 대치하는 전통적 임퓨테이션이 p(y|x_S) 를 편향시켜 발생한다. 논문은 조건부 분포 p(x_¯S|x_S) 를 추정하는 생성 모델이나 마스크 기반 입력 확장을 제안하지만, 마스크가 실제 결측 패턴과 상관관계가 낮을 경우 효과가 제한적임을 지적한다.

또한, 추가 특성을 획득한다고 해서 예측 불확실성이 단조롭게 감소하지 않는 ‘비단조성’ 현상을 사례와 이론을 통해 보여준다. 이는 기존 DFS가 예측 엔트로피만을 신뢰해 특성 선택 정책을 설계할 경우, 잘못된 결정을 내릴 위험이 있음을 의미한다.

이를 해결하기 위해 논문은 전역 모델 f_θ에 대해 부분집합‑특정 재파라미터화 함수 R_ψ(θ,S) 를 도입한다. θ_S=R_ψ(θ,S) 를 학습함으로써 각 S에 대한 위험 차이 Δ_S를 최소화하고, 임퓨테이션에 의한 편향을 감소시킨다. 신경망에서는 최종 레이어만 저차원 업데이트하거나, 규칙 기반 모델에서는 파라미터 집합을 효율적으로 변형하는 전략을 제시한다.

DFS 정책은 가치 함수 v_q(i,x_S)=E_{p(x_i|x_S)}