다중 세션 클라이언트 중심 치료 결과 자동 평가 프레임워크 IPAEval

초록

본 논문은 임상 인터뷰를 기반으로 클라이언트의 주관적 경험을 추출하고, 이를 심리검사 항목에 매핑해 다중 세션에 걸친 치료 결과를 자동으로 평가하는 IPAEval 프레임워크를 제안한다. 새로운 TheraPhase 데이터셋(초기·완료 단계 400쌍)에서 기존 단일 세션·치료사 중심 모델들을 능가하는 성능을 보이며, 항목 인식 기반 추론이 평가 정확도를 크게 향상시킴을 입증한다.

상세 분석

IPAEval은 기존 LLM 기반 치료 평가가 치료사 관점·단일 세션에 국한된 한계를 극복하고, 클라이언트의 서술적 정보를 정량적 심리검사 점수로 전환한다는 점에서 혁신적이다. 프레임워크는 두 단계 프롬프트 설계(Items‑Aware Reasoning, Symptom Assessment)로 구성된다. 첫 단계에서는 LLM이 클라이언트 발화에서 각 검사지 항목에 해당하는 증거를 추출하고, 증상의 존재 여부와 근거 설명을 구조화된 레코드(증상 카테고리, 구체적 증상, 존재 판단, 설명)로 만든다. 이는 인간 심리학자가 항목별 응답을 직접 코딩하는 과정을 자동화하면서도 투명성을 확보한다. 두 번째 단계에서는 이러한 구조화된 증거를 바탕으로 심리검사의 차원별 점수를 산출한다. 여기서 점수는 전체 항목이 다루어지지 않을 경우를 고려해 조정되며, 과도한 추정을 방지한다는 점이 기존 ClientC AST와 차별된다.

IPAEval의 핵심 평가 지표는 Positive Symptom Distress Index(PSDI)이다. PSDI는 양성(>0) 증상 차원의 평균 점수로 정의되며, 초기 세션과 최종 세션의 PSDI 차이(ΔPSDI)를 치료 효과로 해석한다. ΔPSDI가 음수이면 증상 감소, 즉 치료가 긍정적 영향을 미쳤음을 의미한다. 이 방식은 SCL‑90 기반 PSDI를 일반화해 다양한 심리검사에 적용 가능하도록 설계돼, 프레임워크의 범용성을 높인다.

데이터 측면에서 저자들은 CPsyCoun을 기반으로 TheraPhase 데이터셋을 구축했다. 각 클라이언트는 초기 상담과 치료 종료 시점의 인터뷰 전사본을 제공받으며, 이는 실제 임상 현장에서 흔히 수집되는 서술형 데이터와 일치한다. 400쌍의 데이터는 다중 세션 변화 분석에 충분한 규모이며, 공개적으로 HuggingFace에 배포돼 재현성을 확보한다.

실험에서는 9개의 LLM(오픈소스·클로즈드소스 포함)을 대상으로 심리검사 점수와 ΔPSDI 예측 정확도를 평가했다. IPAEval을 적용한 모델은 기존 단일 세션·치료사 중심 베이스라인 대비 평균 12%p 이상의 F1 점수 향상을 보였으며, 특히 항목 인식 추론 프롬프트를 사용한 경우 증상 검출 정확도가 8~15%p 상승했다. Ablation study는 Items‑Aware Reasoning 단계가 없을 경우 성능이 현저히 저하됨을 확인, 이 단계가 프레임워크 성공의 핵심임을 입증한다.

한계점으로는 현재 심리검사로 SCL‑90 기반 PSDI만을 사용했으며, 다른 척도(예: PHQ‑9, GAD‑7)와의 비교가 부족하다. 또한 LLM의 ‘환자 시뮬레이션’ 위험을 최소화하기 위해 실제 클라이언트 발화를 그대로 사용했지만, 데이터 품질(전사 오류, 억양 등)과 모델 편향에 대한 추가 검증이 필요하다. 향후 연구에서는 다중 모달(음성·표정) 정보 통합, 다양한 문화·언어권 데이터 확장, 그리고 실시간 임상 의사결정 지원 시스템으로의 전이를 모색할 수 있다.