텍스트 기반 대화형 에이전트의 정신건강 평가 현황과 과제

초록

**
본 논문은 2024년 5~6월에 수행된 PRISMA 기반 체계적 리뷰로, 텍스트 기반 정신건강 대화형 에이전트(CA)의 평가 방법을 메트릭, 방법론, 사용 맥락 세 축으로 정리한다. 613편의 논문 중 132편을 선정했으며, CA‑중심 속성(신뢰성·안전·공감 등)과 사용자 중심 결과(경험·지식·심리 상태·건강 행동)를 구분하였다. 자동화된 성능 지표와 표준 심리 척도 사용이 주류이지만, 문화적 적합성 부족, 표본 규모·기간 제한, 자동 지표와 실제 복지 효과 간 연계 약점이 드러났다. 저자는 삼각측정, 시간적 엄격성, 측정 형평성을 강조하며 향후 평가 프레임워크 개선 방향을 제시한다.

**

상세 분석

**
이 리뷰는 평가 실천이 학문 분야마다 서로 다른 우선순위를 갖는 점을 정확히 짚어냈다. 컴퓨터 과학 논문은 주로 응답 시간, BLEU·ROUGE·Perplexity 같은 자동화된 언어 품질 지표에 집중하고, 심리학·의료 논문은 PHQ‑9, GAD‑7 등 기존 서구식 척도를 사용해 사용자 심리 변화를 측정한다. 이러한 이분법적 접근은 CA‑중심 메트릭과 사용자‑중심 메트릭 사이의 연결 고리를 약화시킨다. 특히, ‘신뢰성’이라는 윤리적 차원을 안전·공정·프라이버시·투명성 등 다차원으로 정의했지만, 실제 연구에서는 대부분 ‘안전성’ 혹은 ‘프라이버시’ 하나만을 간접적으로 검증한다는 점이 눈에 띈다.

표본 특성을 보면, 정량적 연구는 평균 533명(범위 236 070명)으로 표면적으로는 큰 규모처럼 보이지만, 65%가 100명 미만이며 3%만이 1 000명 이상을 포함한다. 질적 연구는 평균 80명에 불과하고, 84%가 100명 이하이다. 연령 분포는 11세82세로 제한적이며, 아동·청소년 대상 연구가 거의 없다는 점은 텍스트 기반 CA가 문해력 요구조건 때문에 발생한 구조적 한계임을 시사한다.

시간적 설계 측면에서는 ‘순간 평가’와 ‘추적 평가’를 구분했지만, 대부분이 단일 세션 혹은 2~4주 내 단기 추적에 머물러 있다. 장기 효과(6개월 이상)나 재사용 패턴을 포착한 연구는 극히 드물다. 이는 정신건강 개입의 지속적 효과를 검증하기 위한 근거가 부족함을 의미한다.

문화적 적합성 역시 큰 결함이다. 서구에서 개발된 척도(예: PHQ‑9, GAD‑7)를 비서구 집단에 그대로 적용하는 경우가 다수이며, 번역·문화 적응 절차가 명시되지 않은 경우가 많다. 결과적으로 측정 편향이 발생하고, 글로벌 적용 가능성을 저해한다.

방법론적 삼각측정의 필요성을 강조한 점은 설득력이 있다. 자동화된 언어 성능 지표와 정성적 인터뷰, 그리고 표준 심리 척도를 동시에 활용하면 각 방법의 한계를 보완할 수 있다. 예를 들어, 높은 BLEU 점수가 실제 사용자 공감 경험과 일치하지 않을 때 정성적 코딩을 통해 원인을 탐색할 수 있다.

마지막으로, 저자는 평가 프레임워크에 ‘형평성(equity)’을 삽입한다. 이는 측정 도구가 다양한 인구통계학적 특성(성별, 연령, 문화, 언어 수준 등)을 포괄하도록 설계돼야 함을 의미한다. 현재 리뷰에 포함된 연구 대부분이 ‘서구‑중심’ 표본에 국한돼 있어, 향후 연구는 다문화·다언어 표본을 확대하고, 문화 적응된 척도를 개발·검증해야 한다는 점을 명확히 제시한다.

**