LLM 기반 인증과 사기 탐지의 새로운 패러다임

초록

본 논문은 대형 언어 모델(LLM)을 활용한 두 가지 보안 솔루션을 제안한다. 첫째, 사용자의 자연어 답변을 의미론적으로 평가하고, 문서 세분화와 코사인 유사도 결합 점수를 통해 99.5%의 정상 인증 성공률과 0.1%의 오인 허용률을 달성한 LLM‑보조 인증 시스템이다. 둘째, 검색 강화 생성(RAG) 기반의 사기 탐지 파이프라인으로, 최신 사기 사례와 정책 문서를 실시간으로 검색해 LLM의 판단을 근거에 묶어 허위 양성률을 17.2%에서 3.5%로 크게 낮춘다. 실험 결과 두 시스템 모두 기존 방법 대비 사용성·보안·설명 가능성에서 현저한 개선을 보인다.

상세 분석

이 논문은 전통적인 “what‑you‑know” 인증 방식이 갖는 문자열 일치의 경직성을 극복하기 위해 LLM의 의미론적 이해 능력을 활용한다. 핵심 설계는 (1) 사용자 프로파일 문서를 사전 세분화하여 LLM이 질문을 균등하게 생성하도록 하고, (2) 사용자가 제시한 답변을 LLM이 직접 평가한 결과와 해당 답변의 임베딩을 이용한 코사인 유사도 점수를 가중 평균하는 하이브리드 스코어링 메커니즘을 도입한다. 이중 평가 구조는 LLM이 의미를 놓치거나 과도하게 관대하게 판단할 경우, 통계적 유사도 점수가 보완 역할을 수행하도록 설계돼, 보안과 사용성 사이의 트레이드오프를 동적으로 조절한다. 실험에서는 Llama‑3.3 기반 모델을 사용해 99.5%의 정상 답변을 수용하면서도 오인 허용률을 0.1% 수준으로 억제하였다. 이는 기존 정확한 문자열 매칭 방식이 초래하는 높은 재시도 비용과 사용자 불만을 크게 감소시킬 수 있음을 의미한다.

두 번째 기여는 사기 탐지에 RAG(Retrieval‑Augmented Generation)를 결합한 파이프라인이다. 메시지가 들어오면 LLM이 의도, 긴급성, 어조, 행동 요구 등 핵심 특징을 추출하고, 이를 기반으로 외부 사기 데이터베이스·기업 정책·도메인 별 레퍼런스 등을 실시간 검색한다. 검색된 증거는 구조화된 프롬프트에 삽입되어 LLM에게 제공되며, LLM은 증거와 사용자 입력을 함께 고려해 사기 가능성 점수와 설명을 출력한다. 이 접근법은 (i) LLM 단독 사용 시 발생하는 과다 양성·음성 및 환각 현상을 근거 기반으로 억제하고, (ii) 모델 재학습 없이 증거 저장소만 업데이트하면 새로운 사기 수법에 즉시 대응할 수 있다는 적응성을 제공한다. 실험 결과, 기존 머신러닝 기반 탐지기의 17.2%였던 허위 양성률을 3.5%로 낮추었으며, 설명 가능한 출력으로 운영자 신뢰성을 높였다.

전체적으로 논문은 (1) 의미 기반 인증을 통해 인간 친화적 보안 체계를 제시하고, (2) 증거 기반 LLM 판단으로 사기 탐지의 정확도와 설명 가능성을 동시에 향상시킨다. 특히 문서 세분화·하이브리드 스코어링·RAG라는 세 가지 기술적 혁신이 각각의 한계를 보완하며, 보안 시스템 설계에 LLM을 통합하는 실용적 로드맵을 제공한다는 점에서 학술적·산업적 의의가 크다.