통합 XAI LLM 기반 기관삽관 흡인 활동 인식 및 피드백 시스템

초록

본 논문은 영상 데이터를 활용해 기관삽관 흡인(Endotracheal Suctioning) 절차를 자동으로 인식하고, 대형 언어 모델(LLM)을 중심으로 설명 가능한 인공지능(XAI) 기반 피드백을 제공하는 프레임워크를 제안한다. Gemini 2.5 Pro를 멀티모달 입력(영상, SHAP 기반 이상 탐지 결과, 텍스트 프롬프트)과 결합해 제로샷 활동 분류, 예측 근거 설명, 교육용 자연어 피드백을 동시에 수행한다. 44개의 실험 영상(전문 간호사·학생)으로 평가한 결과, 기존 포즈 기반·GCN‑Transformer 모델 대비 정확도와 F1 점수가 15‑20 % 향상되었으며, 파일럿 피드백 모듈이 학습자에게 해석 가능한 개선 지점을 제공한다.

상세 분석

이 연구는 기존 인간 활동 인식(HAR) 시스템이 직면한 두 가지 핵심 한계를 동시에 해결한다. 첫째, 단일 모달(주로 포즈 키포인트) 기반 모델은 관절 가림, 시점 제한 등으로 인한 정보 손실이 크고, 성능이 40‑60 % 수준에 머물러 실용성이 낮다. 둘째, 의료 현장에서는 모델의 결정 근거가 투명해야 신뢰를 얻을 수 있는데, 기존 딥러닝 구조는 블랙박스 특성이 강해 교육·감시 목적에 부적합했다. 논문은 이러한 문제를 LLM을 ‘중심 추론 엔진’으로 배치함으로써 해결한다. Gemini 2.5 Pro는 영상 프레임을 직접 입력받아 시공간 패턴을 언어 형태로 해석하고, SHAP‑Isolation Forest로부터 얻은 이상치 설명을 함께 고려한다. 프롬프트 설계는 절차적 컨텍스트(예: “카테터 삽입 단계인지 판단”)와 설명 요구(“왜 이 단계로 판단했는가”)를 명시적으로 포함해 모델이 다중 과업을 수행하도록 유도한다.

실험 설정은 44개의 영상(8개 행동 라벨)으로, 32개를 학습, 12개를 테스트에 할당했으며, 참가자별 데이터 누수를 방지하기 위해 동일 인물의 영상이 교차되지 않도록 했다. 비교 대상은 (1) 전통적인 포즈 기반 SVM/RandomForest, (2) GCN‑Transformer 기반 SkeleTR, (3) 다각도 영상 합성 모델 등이다. LLM 기반 시스템은 정확도·F1에서 평균 15‑20 % 상승을 기록했으며, 특히 ‘카테터 삽입’과 같은 고위험 단계에서 오탐률이 크게 감소했다. 설명 가능성 측면에서는 SHAP 시각화와 LLM이 생성한 텍스트 설명이 일치하는 비율이 82 %에 달했으며, 교육용 피드백은 “카테터를 삽입할 때 손목 각도가 너무 급격했다”와 같이 구체적인 행동 교정 포인트를 제공한다.

한계점으로는 데이터 규모가 작아 일반화 검증이 제한적이며, 멀티모달 입력에서 영상 프레임을 LLM에 직접 전달하는 과정이 아직 비용이 많이 든다. 또한 현재는 제로샷 분류에 의존하므로 라벨이 없는 새로운 행동이 추가될 경우 사전 프롬프트 조정이 필요하다. 향후 연구에서는 대규모 다기관 데이터베이스 구축, 라벨 효율성을 높이는 반자동 라벨링, 그리고 라이트 버전 LLM을 이용한 실시간 임상 적용을 목표로 제시한다.