설명 효능 인간과 인공지능 상호작용 평가 지표

초록

본 논문은 인간과 인공지능 사이의 순환적 관계를 정량화하는 ‘설명 효능’이라는 새로운 메트릭을 제안한다. 사용자는 반복적인 설명 인터페이스를 통해 개인화 추천 시스템을 구축하면서 감정·작업 부하를 평가하고, 동시에 EEG를 기록하였다. 결과는 설명 효능이 높은 시스템이 뇌 반구 간 차이를 보이며 62.4% 정확도로 설명 효능을 예측할 수 있음을 보여준다.

상세 분석

이 연구는 설명 가능한 인공지능(XAI) 분야에서 실용적인 평가 지표가 부재하다는 문제점을 정확히 짚어냈다. ‘설명 효능(explanatory efficacy)’이라는 개념을 도입함으로써 인간‑AI 상호작용을 단순히 일방적인 설명 제공이 아니라, 사용자의 인지·정서 상태와 피드백을 반영하는 순환적 프로세스로 재구성한다. 메트릭 정의는 정량적 요소(설명 빈도, 사용자 응답 시간, 수정 횟수)와 정성적 요소(사용자 만족도, 인지 부하) 를 가중합하는 형태로 제시되었으며, 가중치 설정에 대한 근거가 설문 기반 파일럿 실험을 통해 확보된 점이 설득력을 높인다.

실험 설계는 30명의 피험자를 대상으로 맞춤형 추천 시스템을 구축하도록 유도한 반복형 인터페이스 사용을 전제로 한다. 감정과 작업 부하는 NASA‑TLX와 PANAS 척도로 측정했으며, EEG는 64채널 시스템으로 수집해 전두엽 및 측두엽의 알파·베타 파워 스펙트럼을 분석하였다. 통계적으로는 설명 효능이 높은 조건에서 좌우 반구 간 알파 파워 차이가 유의미(p<0.05)했으며, 머신러닝 분류기(SVM)를 적용해 62.4% 정확도로 설명 효능 수준을 예측했다. 이는 뇌파가 인간‑AI 상호작용의 질을 반영할 수 있음을 시사한다.

하지만 몇 가지 한계도 존재한다. 첫째, EEG 데이터는 실험실 환경에 국한돼 실시간 서비스 적용 가능성을 검증하기엔 부족하다. 둘째, 설명 효능 메트릭의 가중치가 특정 도메인(추천 시스템)에서 최적화됐으므로 다른 AI 응용 분야에 그대로 적용하기엔 추가 검증이 필요하다. 셋째, 62.4% 정확도는 통계적 의미는 있지만 실용적인 수준으로는 아직 개선 여지가 있다. 향후 연구에서는 모바일 뇌파 측정기와 실시간 피드백 루프를 결합해 현장 적용성을 높이고, 메트릭을 다중 도메인에 일반화하는 작업이 요구된다.