기술 기반 학대 지원을 위한 LLM 평가와 개선 방안

초록

본 논문은 기술‑촉진 학대(TFA) 피해자를 대상으로 네 개의 대형 언어 모델(Large Language Models, LLM)의 응답 품질을 전문가와 실제 사용자 평가를 통해 분석한다. 정확성·완전성·안전성·실행 가능성 네 가지 기준으로 193개의 실제 질문에 대한 제로샷 단일 응답을 검증한 결과, 대부분의 모델이 81 %의 경우 부정확하거나 불완전한 답변을 제공했으며, 안전 경고가 누락된 경우가 60 %에 달했다. 설문 조사에서는 응답이 길고 이해하기 어려워 실제 행동으로 옮기기 힘들다는 의견이 다수 제시되었다. 연구는 이러한 한계를 극복하기 위한 구체적 설계·훈련·배포 권고안을 제시한다.

상세 분석

이 연구는 기술‑촉진 학대(TFA)라는 고위험 도메인에 LLM을 적용하려는 최초 시도라 할 수 있다. 먼저 저자들은 기존 문헌과 Reddit·Quora 등 공개 포럼에서 385개의 실제 질문을 수집하고, 유형·수단별로 17가지 학대 유형과 28가지 수단을 체계적으로 분류하였다. 이후 193개의 대표 질문을 무작위가 아닌 균형 있게 샘플링하여, GPT‑4o, Claude 3.7 Sonnet, 그리고 IPV 전용 모델인 Ruth와 Aimee 네 모델에 동일한 ‘생존자 안전 중심 프롬프트’를 적용해 제로샷 단일턴 응답을 생성했다.

평가 기준은 정확성(정보의 사실 여부), 완전성(핵심 요소 누락 여부), 안전성(위험 경고·피해 확대 방지 여부), 실행 가능성(실제 행동으로 옮길 수 있는 구체성)으로 정의되었으며, 각각 5점 척도로 전문가 3명이 독립 평가했다. 결과는 모든 모델이 81 %의 질문에 대해 부정확·불완전·비실행 가능 응답을 내놓았으며, 특히 안전 경고가 빠진 경우가 60 %에 달했다. 예를 들어, 모바일 스파이웨어 관련 질문에 GPT‑4o는 VPN 사용을 권고했지만, 이는 근본적인 감시 차단에 도움이 되지 않아 실제 피해자를 오도할 위험이 있다.

사용자 설문(114명)은 응답의 길이·전문 용어·재정·물리적 제약 등을 고려했을 때 실질적인 행동 지침으로 활용하기 어렵다는 점을 강조했다. 특히 “잠재적 에스컬레이션 위험을 고려하지 않았다”는 지적이 많았다. 이는 LLM이 일반적인 기술 조언은 제공하나, 학대 상황 특유의 위험 요소를 충분히 인식하지 못한다는 근본적인 한계를 드러낸다.

연구는 또한 데이터셋 공개와 함께, 향후 모델 파인튜닝을 위한 벤치마크 구축의 필요성을 제시한다. 도메인 특화 데이터와 안전성 검증 절차를 통합한 훈련 파이프라인이 없을 경우, LLM은 오히려 피해자를 위험에 빠뜨릴 수 있다. 따라서 모델 설계 단계부터 ‘위험 감지·경고·대안 제시’가 내재된 프레임워크가 필요함을 강조한다.