설명 가능한 AI의 행동 가능성 평가

초록

본 논문은 설명 가능한 인공지능(XAI) 시스템이 제공하는 정보가 실제 사용자 행동으로 이어지는지를 체계적으로 연결한다. 교육·의료 분야 종사자 14명을 인터뷰해 12가지 정보 유형과 60가지 행동을 도출하고, 이를 ‘행동 가능성 카탈로그’로 정리하였다. 연구 결과는 AI 개발자가 설명 설계 시 기대 행동을 명시하고, 사용자 중심 평가를 통해 가설을 검증하도록 돕는다.

상세 분석

이 연구는 XAI의 핵심 전제인 “설명은 사용자가 무언가를 하게 만든다”는 가정을 실증적으로 검증하려는 시도이다. 기존 평가 방법은 알고리즘‑중심(faithfulness, consistency 등) 혹은 정성적(가독성, 직관성) 측면에 머물렀지만, 설명이 실제 의사결정·행동에 어떻게 연결되는지는 명확히 제시되지 않았다. 저자들은 의료와 교육이라는 두 고위험 도메인을 선택해 시나리오 기반 디자인(SBD) 인터뷰를 진행했으며, 각 시나리오는 실제 업무 흐름을 반영한 가상 인터페이스를 제공해 참가자들이 구체적인 행동을 상상하도록 유도했다.

분석 과정에서 먼저 참가자들이 사용하고자 하는 용어를 정리하고, 이를 바탕으로 정보 코드와 행동 코드를 도출했다. 정보 코드는 12개의 범주(예: 모델 성능, 데이터 출처, 위험 요인, 대안 제시 등)로 묶였으며, 행동 코드는 60가지로 세분화돼 ‘의사소통·협업’, ‘결정 수정·보완’, ‘추가 검증·감사’ 등 3대 그룹으로 분류되었다. 특히, 정보와 행동 사이의 매핑을 명시함으로써 “어떤 정보가 어떤 행동을 촉발하는가”를 구체적으로 제시했다.

카탈로그의 실용성은 두 가지 차원에서 강조된다. 첫째, AI 제작자는 설계 단계에서 기대하는 행동을 명시하고, 설명에 포함시켜야 할 정보 유형을 선택할 수 있다. 둘째, 사용자를 대상으로 한 평가에서 실제 행동이 기대와 일치하는지를 측정함으로써 설계 가설을 검증한다. 이는 기존의 ‘faithfulness’ 같은 기술적 지표와는 별개로, 설명이 실제 업무에 미치는 영향을 정량·정성적으로 파악할 수 있게 한다.

연구는 또한 몇 가지 설계 시사점을 제시한다. 설명은 단순히 ‘왜’·‘어떻게’를 전달하는 것을 넘어, ‘무엇을 해야 하는가’를 구체화해야 한다는 점이다. 따라서 설명 인터페이스는 행동 유도를 위한 명확한 액션 버튼, 감사 로그, 대안 제시 등 실무에 바로 적용 가능한 요소를 포함해야 한다. 또한, 도메인별 특성을 반영해 정보 우선순위를 조정할 필요가 있다(예: 의료에서는 위험 요인과 규제 준수가, 교육에서는 학습 경로와 피드백이 중요).

전체적으로 이 논문은 XAI 평가 패러다임을 ‘행동 가능성’이라는 새로운 차원으로 확장했으며, 실무 중심의 설계·평가 프레임워크를 제공한다. 향후 연구는 더 다양한 도메인·사용자 집단에 적용해 카탈로그를 확장하고, 행동 측정 메트릭을 정량화하는 작업이 필요할 것이다.