명시적 기권 노브: 비디오 질의응답에서 예측 가능한 신뢰성을 위한 도구

본 논문은 고위험 분야에의 안전한 인공지능 배포를 위한 핵심 기술인 선택적 예측(selective prediction), 즉 모델이 불확실할 때 답변을 거부(기권)하는 메커니즘의 신뢰성을 비디오 질의응답(VideoQA) 작업을 통해 실증적으로 분석한 연구이다. 연구의 중심 질문은 VLM이 제공하는 '자신감 점수'를 기반으로 한 기권 메커니즘이 (1) 오류율을 예측 가능하게 통제할 수 있는지, 그리고 (2) 비디오 프레임 수 감소와 같은 '증거 열화' 상황에서도 그 통제력이 견고하게 유지되는지였다. 연구는 NExT-QA 데이터셋과 Gemini 2.0 Flash 모델을 주된 실험 도구로 활용했다. 실험 설계는 크게 두 가지 축으로 구성된다. 첫 번째는 정상 분포 내(In-Distribution) 평가로, 모델이 생성한 자신감 점수에 임계값(ε)을 적용해 답변 여부를 결정할 때, 이 임계값 변화에 따른 오류율과 커버리지(답변한 질문 비율)의 관계를 관찰했다. 결과는 긍정적이었으며, 임계값을 높임에 따라 오류율은 단조롭게 감소하고 커버리지는 단조롭게 감소하는 매끄러운 위험-커버리지 트레이드오프 곡선을 얻을 수 있었다. 예를 들어, 모든 질문에 답변할 때(98.7% 커버리지) 오류율은 23.6%였으나, 자신감이 높은 63.7%의 질문만 답변하도록 하면 오류율을 9.4%까지 낮출 수 있었다. 이때 예측은 잘 보정된 상태(ECE=0.018)를 유지했다. 이는 자신감 임계값이 분포 내에서는 효과적인 '기계적 제어 노브' 역할을 할 수 있음을 보여준다. 두 번째이자 본 연구의 가장 핵심적인 실험은 '증거 열화' 조건에서의 평가였다. 연구자는 비디오의 정보량을 정량적으로 통제하기 위해 각 비디오에서 추출하는 프레임 수를 18개에서 6개로 3분의 1 수준으로 줄이는 개입을 수행했다. 동일한 질문 세트를 '18프레임 조건'과 '6프레임 조건'에서 각각 평가하여 모델의 자신감 분포 변화를 정밀하게 비교했다. 놀랍게도, 시각 정보가 3배나 줄었음에도 모델의 자신감 분포는 매우 미미하게만 수축했다. 자기 보고(self-reported) 자신감의 중앙값은 두 조건 모두에서 0.9로 동일하게 유지되었다. 연구자는 이 결과를 검증하기 위해 별도의 프롬프트 인터페이스를 통해 로그 확률로부터 유도된 자신감(p_max)을 측정했고, 동일한 실패 모드가 관찰됨을 확인했다. 이는 모델이 이용 가능한 정보가 극적으로 부족해졌음에도 불구하고, 자신의 예측 불확실성을 인지하지 못한다는 것을 의미한다. 즉, 자신감 임계값이라는 노브는 훈련 데이터와 유사한 조건에서는 매끄럽게 작동하지만, 정보가 결핍된 새로운 운영 조건에서는 더 이상 유효한 위험 통제 수단이 될 수 없다. 이러한 실험 결과는 기존의 선택적 예측, 분포 변화 하의 보정, 컨포멀 예측 등 관련 문헌과 대비되며 연구의 차별성을 부각시킨다. 기존 연구가 주로 코베리어트 변화나 도메인 적응과 같은 '분포적 변화'에 초점을 맞춘 반면, 본 연구는 '정보 가용성 자체의 변화'라는 독특한 변화 유형을 탐구했다. 정보 이론적 관점에서, 프레임 수 감소는 답변에 대한 베이즈 최적 예측 가능성의 상한을 낮추므로, 이를 존중하는 모델은 자신감도 함께 낮춰야 한다. 이러한 '기계적 제어'와 '인식론적 타당성' 사이의 괴리를 해결하기 위해 논문은 '보증 기반 선택적 예측(Warrant-based Selective Prediction)'이라는 새로운 개념을 제안한다. 이는 모델의 자신감이 주어진 특정 증거 뷰(e)가 실제로 지원할 수 있는 예측 가능성의 상한(이를 '보증' ζ(e)이라 명명)에 의해 명시적으로 제한되는 시스템을 의미한다. 이는 단순한 임계값 조절을 넘어, 각 예측 인스턴스에 대해 "이 정도의 증거로는 이 정도의 자신감만이 정당화된다"는 계약적 접근을 지향한다. 본 논문은 이 개념의 필요성과 당위성을 엄격한 실험을 통해 증명했으며, 향후 연구가 이러한 보증 메커니즘을 실제로 설계하고 구현하는 방향으로 나아가야 함을 시사한다. 이는 간헐적 영상 전송, 압축 손실 등 정보 가변성이 큰 실제 배포 환경에서 VLM의 신뢰성과 안전성을 보장하는 데 중요한 기반이 될 것이다.