증거 기반 퍼소나 적응 설명으로 스팸 위험 인식

초록

VEXA는 GradientSHAP으로 추출한 탐지 근거와 빅파이브 기반 취약성 퍼소나를 결합해, 사기 메시지에 대한 증거 중심의 자연어 설명을 생성한다. 실험 결과, 근거 기반 설명은 의미적 신뢰성을 높이며, 퍼소나 조건화는 스타일을 조절하지만 근거 정합성을 해치지 않는다.

상세 분석

본 논문은 사기 탐지 모델의 투명성을 강화하고, 사용자별 인지 차이를 반영한 맞춤형 설명을 제공하기 위해 VEXA라는 프레임워크를 제안한다. 핵심 기술은 네 단계 파이프라인으로 구성된다. 첫째, BERT 기반 사기 탐지기를 사전 학습 후 고정하여 일관된 예측을 확보한다. 둘째, GradientSHAP을 활용해 임베딩 공간에서 토큰 수준의 기여도를 계산하고, 위험 신호(긴급성, 보상 어휘, 단축 URL 등)를 추출한다. 셋째, 빅파이브 성격 요인과 보안 심리학 연구를 토대로 고취약성·저취약성 두 가지 퍼소나를 정의한다. 고취약성 퍼소나는 신경증이 높고 성실성이 낮으며, 설명을 부드럽고 맥락 중심으로 만든다. 반면 저취약성 퍼소나는 성실성이 높고 신경증이 낮아, 간결하고 논리적 근거를 강조한다. 넷째, 추출된 근거와 퍼소나 지시문을 프롬프트에 삽입해 대형 언어 모델(LLM)이 증거에 기반한 자연어 설명을 생성한다. 이때 LLM은 근거를 직접 언급하도록 강제함으로써 ‘faithfulness’를 보장한다. 실험은 이메일, SMS, SNS 등 세 가지 채널의 공개 데이터셋을 균등 샘플링해 구성했으며, 사기 탐지기의 Macro F1은 0.93875로 높은 성능을 보였다. 설명 품질 평가는 자동 메트릭(예: ROUGE, BERTScore)과 인간 평가를 결합했으며, 근거 기반 설명(LLM+XAI)이 근거 없는 설명(Pure LLM)보다 의미적 일관성이 크게 향상되었다. 퍼소나 조건화는 언어적 복잡도(Lexical Diversity)와 감성 톤에 차이를 만들었지만, 근거 정합성 지표에는 영향을 주지 않았다. 따라서 증거 기반 설계가 의미적 정확성을, 퍼소나 기반 설계가 사용자 친화적 프레젠테이션을 담당한다는 설계 인사이트를 도출한다. 이와 같은 구조적 분리를 통해 VEXA는 보안 교육 및 실시간 위험 경고 시스템에 적용 가능하며, 개인 정보 없이도 다양한 사용자군에 맞춤형 설명을 제공한다는 장점을 가진다.