개념 중심 시각 튜링 테스트로 의료 AI 검증 혁신

**1. 서론** 최근 딥러닝 기반 의료 영상 분석이 눈에 띄게 발전하면서, 인간 수준의 성능을 보이는 모델이 다수 등장하였다. 그러나 이러한 모델이 실제 임상에서 어떤 정보를 근거로 결정을 내리는지는 여전히 불투명하다. 기존의 AUC, 정확도와 같은 단일 지표는 모델 전반의 성능을 요약하지만, 개별 임상 개념(예: 병변 종류, 조직 특성 등)에 대한 이해도를 제공하지 못한다. 특히, 데이터셋 편향이나 라벨 불균형이 모델 성능에 미치는 영향을 정량화하기 어렵다. 이러한 문제를 해결하고자 저자들은 “시각 튜링 테스트(Visual Turing Test, VTT)”라는 개념을 차용해, 모델에 대한 일련의 이진 질문을 통해 개념별 이해도를 평가하는 프레임워크를 제안한다. **2. 관련 연구** 전통적인 챌린지 기반 평가, VQA(Visual Question Answering) 등은 질문‑답변 형태를 이용하지만, 질문 설계가 수동적이며 의료 분야에 특화된 개념을 반영하기 어렵다. Geman 등은 자동 VTT를 제안했으나, 질문 스토리라인이 사전에 정의돼 의료 이미지에 적용하기엔 제한적이었다. 본 논문은 이러한 한계를 극복하고, 질문을 데이터와 이전 답변 히스토리를 기반으로 동적으로 선택하는 “Twenty Questions” 접근을 도입한다. **3. 방법론** - **3.1 문제 정의**: 검증 데이터셋 D={s_i}와 개념 집합 C={c_j}를 정의하고, 질문 q=(s_q, c_q)∈Q=D×C 로 설정한다. 질문의 정답 q_gt∈{0,1}이며, 모델 f는 q를 입력받아 “Yes” 확률을 반환한다. - **3.2 성능 모델**: 각 개념 c에 대해 이산 확률 변수 Y_c를 정의하고, 모델의 답변을 a_c = f(q)+q_gt 로 변환한다. 이후 Gaussian Process (GP) f_GP_c(a_c)∼GP(μ_c(a_c), k_c(a_c,a_c′)) 로 모델링한다. μ_c는 0으로 초기화하고, RBF 커널 k_c는 길이‑스케일 l=0.1, 신호·노이즈 변동 σ_f=1, σ_n=0.025 로 설정한다. 관측값은 a_c를 0.01 간격으로 이산화해 (a_c^(i), y_c^(i)) 형태로 저장하고, 표준 베이지안 추론을 통해 posterior 를 얻는다. GP를 통해 각 개념별 TP, FP, FN, TN 비율을 시각화할 수 있다. - **3.3 불확실성 정의**: 개념 c의 불확실성 u_c는 GP의 95 % 신뢰구간 면적을 적분해 구한다. 양성 영역(