AI 보조 사이버 보안 인터페이스의 인간 중심 설명 설계

초록

본 연구는 AI 보조 사이버 보안 대시보드에서 네 가지 설명 방식(신뢰도 시각화, 자연어 근거, 반사실 설명, 하이브리드)의 사용이 분석가의 신뢰 보정, 정확도, 작업 효율성 및 인지 부하에 미치는 영향을 실험적으로 조사한다. 실험 결과 하이브리드와 반사실 방식이 정확도와 신뢰 보정에 가장 큰 이점을 제공하지만 인지 부하가 높아지는 trade‑off가 존재한다. 이를 토대로 단계적 공개, 역할 기반 맞춤, 불확실성 표출 등 7가지 설계 가이드라인을 제시한다.

상세 분석

이 논문은 AI‑기반 사이버 보안 ‘코파일럿’이 실제 SOC(보안 운영 센터) 환경에서 어떻게 설명을 제공해야 사용자가 적절히 신뢰하고 의사결정을 내릴 수 있는지를 체계적으로 탐구한다. 먼저 기존 XAI 연구가 모델 내부 메커니즘(특징 중요도, 샐리언시 맵 등)에 초점을 맞추는 반면, 보안 현장에서는 설명이 UI 레이어에서 어떻게 시각·언어적으로 전달되는지가 핵심이라는 점을 강조한다. 이를 위해 저자들은 ‘신뢰도 시각화’, ‘자연어 근거’, ‘반사실(What‑If) 설명’, ‘하이브리드(신뢰도+근거)’ 네 가지 UI 기반 설명 전략을 정의하고, 각각을 동일한 SIEM 대시보드 프로토타입에 모듈화하여 실험 조건으로 구현하였다.

실험 설계는 24명의 참가자(전문 보안 분석가 12명, 보안 전공 대학원생 12명)를 대상으로 한 within‑subjects 디자인으로, 라틴 사각형을 이용해 순서 효과를 최소화하였다. 각 참가자는 16개의 알림 트라이에(설명 유형당 4개) 대해 ‘실제 위협’, ‘양성 이상’, ‘오탐’ 중 하나로 분류하도록 요구받았다. 측정 지표는 정확도, 작업 시간, NASA‑TLX 기반 인지 부하, Schaffer‑Barlow 신뢰‑자동화 척도, 그리고 설명을 본 후 판단을 바꾼 ‘결정 전환율’이었다.

통계 결과는 설명 방식이 모든 지표에 유의한 영향을 미침을 보여준다. 하이브리드와 반사실 설명이 정확도(82 %·78 %)와 신뢰 보정(77.9·71.4)에서 가장 높은 점수를 기록했으며, 특히 하이브리드가 ‘결정 전환율’(23 %)에서도 최고였다. 반면 인지 부하는 반사실이 가장 높았고(58.3), 작업 시간도 가장 길었다(21.2 초). 자연어 근거는 가장 빠른 작업 시간을 보였지만, 초보자에게 과도한 신뢰를 유발해 전환율이 낮았다. 로그 분석에서는 반사실 UI가 가장 긴 호버·슬라이더 조작 시간을 보였고, 하이브리드 UI는 토글 사용이 활발해 단계적 공개가 효과적임을 시사한다.

이러한 정량·정성 결과를 바탕으로 저자는 7가지 설계 가이드라인을 도출한다. 첫째, ‘단계적 공개’를 통해 기본은 신뢰도 바와 같은 경량 정보를 제공하고, 필요 시 근거·반사실을 확장한다. 둘째, ‘What‑Why‑What‑If’ 구조로 설명을 명확히 구분해 혼동을 방지한다. 셋째, 확률을 구간·불확실성 표기로 나타내어 과도한 확신을 억제한다. 넷째, 사용자에게 파라미터 조작을 허용해 능동적 검증을 지원한다. 다섯째, 분석가 경험·작업 위험도에 따라 설명 스타일을 맞춤 제공한다(예: 초보자는 자연어, 숙련자는 반사실). 여섯째, 설명 열람 로그를 감사 증거로 저장한다. 마지막으로, ‘신뢰 최대화’가 아니라 ‘적절한 신뢰 보정’이 목표임을 명시한다.

이 연구는 설명 UI가 단순히 투명성을 제공하는 차원을 넘어, 분석가의 인지 과정과 의사결정 행동을 직접적으로 형성한다는 점을 실증적으로 입증한다. 특히, 반사실과 하이브리드 방식이 정확도와 신뢰 보정에 기여하지만 인지 부하를 증가시키는 trade‑off를 명확히 제시함으로써, 설계자는 상황에 맞는 균형점을 찾아야 함을 강조한다. 또한, 역할 기반 맞춤과 인터랙티브 설명이 향후 적응형 XAI 시스템 설계의 핵심 요소가 될 수 있음을 시사한다.