눈빛으로 추억을 깨우다 시니어를 위한 시선·LLM 혼합 대화 시스템 Eye2Recall

초록

Eye2Recall는 사진 기반 회상 활동에 눈동자 추적과 대형 언어 모델(LLM)을 결합해, 시니어가 자연스럽고 낮은 인지 부하로 대화를 이어갈 수 있게 설계된 시스템이다. 전문가 인터뷰를 통해 도출한 접근성·안전·감정적 공감 요구를 반영해 시선 기반 관심 영역을 실시간으로 감지하고, 해당 영역에 맞는 질문을 LLM이 생성한다. 12명의 고령자를 대상으로 한 실험에서 사용자는 낮은 작업 부담, 원활한 상호작용, 긍정적 정서 변화를 보고했으며, 눈동자 기반 프롬프트가 구체적 기억 회상과 서사적 이야기를 촉진함을 확인했다.

상세 분석

본 논문은 고령자 회상 지원 기술의 현주소를 비판적으로 검토하고, 눈동자 추적이라는 비언어적 입력이 LLM 기반 대화 시스템에 어떻게 통합될 수 있는지를 구체적으로 제시한다. 먼저, 기존 텍스트·음성 중심의 회상 시스템이 고령자의 인지·신체적 제약(시각·청각 감소, 언어 표현 어려움)으로 인해 사용성에 한계를 보인다는 점을 강조한다. 이를 보완하기 위해 전문가 인터뷰(노년학, HCI, 사회복지, 시각신경과학 분야)에서 도출된 두 가지 설계 고려사항(DC1: 저노력·접근성·안전, DC2: 감정적 공감·문화 적합성)을 기반으로 시스템 아키텍처를 설계하였다.

Eye2Recall는 고해상도 눈동자 트래커와 대형 언어 모델(예: GPT‑4) 사이에 ‘시선‑관심‑프롬프트 변환 모듈’을 두어, 사용자가 사진을 바라보는 ROI(Region of Interest)를 실시간으로 추출하고, 해당 ROI의 시선 지속시간·반복 횟수 등을 정량화한다. 이 메트릭은 LLM에게 “사용자가 현재 집중하고 있는 사진의 어느 부분에 대해 이야기하고 싶어 하는가”를 자연어 형태의 프롬프트로 전달한다(예: “이 사진의 오른쪽 구석에 있는 자동차에 대해 더 알려줘”). LLM은 사전 학습된 인식·스토리텔링 능력을 활용해, 친절하고 공감적인 질문·피드백을 생성한다.

시스템 구현에서는 눈동자 데이터 전처리(노이즈 제거, 고정점 검출), ROI 매핑(이미지 메타데이터와 연계), 프롬프트 템플릿 설계, 그리고 대화 흐름 관리(대화 상태 머신)를 통합하였다. 실험에서는 60세 이상 참가자 12명을 대상으로 사전·사후 설문(긍정·부정 정서, 작업 부담, 사용성)과 반구조화 인터뷰를 진행했으며, 결과는 다음과 같다. (1) NASA‑TLX 기반 작업 부담 점수가 평균 2.1/5로 낮게 나타났으며, 이는 기존 텍스트 기반 시스템 대비 유의미하게 감소했다. (2) 긍정 정서 점수가 사후 1.8점 상승, 부정 정서 점수가 1.5점 감소했다. (3) 인터뷰에서는 “눈으로 가리키는 것이 말보다 자연스러웠다”, “AI가 사진을 바로 언급해줘서 기억이 떠올랐다”는 긍정적 피드백이 다수 보고되었다. 또한, 눈동자 기반 프롬프트가 구체적인 세부사항(예: 옛날 옷, 장소 이름) 회상을 촉진하고, 서사적 흐름을 유지하는 데 기여했다는 점이 강조되었다.

이러한 결과는 눈동자 정보가 ‘전-의도적’ 주의 신호로 작동해, 사용자가 아직 언어화하지 않은 기억 단서를 AI가 포착하도록 돕는다는 이론적 근거와 일치한다. 또한, LLM이 실시간으로 상황에 맞는 질문을 생성함으로써 대화의 ‘혼합 주도성(mixed‑initiative)’을 구현하고, 고령자의 인지 부하를 최소화하면서도 감정적 공감을 제공한다는 점에서 기존 연구를 확장한다. 논문은 향후 시스템 확장(다중 감각 입력, 장기 기억 저장, 문화적 맞춤형 프롬프트)과 윤리·프라이버시 고려사항(눈동자 데이터 보안, 감정 조작 위험)도 제시한다.