안전은 전형성에 있다: T3 프레임워크로 LLM 위험 탐지

초록

본 논문은 대형 언어 모델(LLM) 안전성을 기존의 해로운 패턴 차단 방식이 아닌, “전형적인” 안전 프롬프트의 분포를 학습해 이상치를 탐지하는 OOD(Out‑of‑Distribution) 검출 문제로 재정의한다. 다중 임베딩과 PRDC(Precision‑Recall‑Density‑Coverage) 메트릭을 활용해 안전 임베딩의 고차원 집중성을 모델링하고, GMM·One‑Class SVM으로 이상점 점수를 산출한다. 18개 베치마크에서 기존 안전 모델 대비 AUROC은 최고 40배, FPR@95는 최대 75% 감소했으며, 영어 안전 텍스트만으로 14개 언어와 다양한 도메인에 전이 가능함을 보였다. 또한 vLLM에 GPU‑최적화 구현을 통합해 토큰 생성 중 실시간 가드레일링을 6% 이하의 오버헤드로 제공한다.

상세 분석

본 연구는 LLM 안전성을 “전형성(typicality)”이라는 정보이론적 개념에 기반한 OOD 검출 문제로 전환한다는 점에서 혁신적이다. 기존의 안전 메커니즘은 해로운 텍스트를 사전 정의된 라벨이나 패턴으로 학습하는 ‘반응형’ 접근법으로, 새로운 공격이 등장하면 방어가 뒤처지는 구조적 한계가 있다. 저자들은 안전한 프롬프트가 고차원 임베딩 공간에서 평균 주변에 집중되는 ‘전형 집합(typical set)’을 형성한다는 사실을 실험적으로 확인하고, 이를 정량화하기 위해 세 종류의 문장 임베더(E1‑E3)를 정규화한 뒤 유클리드 거리 기반의 k‑최근접 이웃을 활용한다. PRDC 메트릭은 각 테스트 샘플에 대해 정밀도, 재현율, 밀도, 커버리지를 개별적으로 측정해, 동일 분포 가정 하에서 기대값을 이론적으로 도출한다(정리 3.1).

안전 데이터와 테스트 데이터가 동일 분포일 경우 정밀도는 1에 수렴하고, 재현율·밀도는 k/n·(1/m) 등으로 수식화된다. 반면 해로운 데이터가 지원 집합을 벗어나면 정밀도가 α만큼 감소하고, 밀도·커버리지는 비정상적인 감소를 보인다. 이러한 이론적 근거를 바탕으로 저자들은 PRDC 벡터를 4K 차원(각 임베더당 4 메트릭)으로 결합하고, 두 가지 확률 모델(GMM과 OCSVM)로 안전 데이터의 분포를 추정한다. 이상 점수는 로그우도에 음수를 취해 0‑1 구간으로 시그모이드 정규화한다.

실험에서는 18개 베치마크(독성, 혐오, 탈옥, 다국어 해악, 과다 거절 등)에서 AUROC이 0.94‑0.99 수준을 기록했으며, 특히 FPR@95가 기존 특화 안전 모델 대비 10‑40배 감소했다. 영어 안전 텍스트만으로 훈련된 단일 모델이 코드, 의료 기록 등 도메인과 14개 이상 언어에 걸쳐 AUROC 차이가 2% 이하로 유지되는 전이 성능을 보였다. 이는 언어와 도메인에 대한 별도 라벨링·학습 비용을 크게 절감한다는 의미다.

시스템 구현 측면에서는 vLLM에 GPU‑최적화된 T3 모듈을 삽입해 토큰 생성 과정 중 매 20 토큰마다 안전 검사를 수행했으며, 연산을 기존 추론 파이프라인과 겹쳐 실행함으로써 전체 지연시간을 6% 미만으로 제한했다. 이는 사후 필터링 방식이 초래하는 높은 레이턴시와 비용을 크게 낮추는 실용적 기여다.

한계점으로는 안전 데이터의 정의가 주관적이며, “전형성”이 문화·언어마다 달라질 수 있다는 점, 그리고 매우 정교한 적대적 프롬프트가 전형 집합 내부에 숨어들 경우 탐지율이 떨어질 가능성이 있다. 또한 PRDC 메트릭의 k값 선택과 GMM/OCSVM 하이퍼파라미터 튜닝이 데이터 규모에 따라 민감하게 작동할 수 있다. 향후 연구에서는 다중 모달(텍스트+이미지) 전형성 모델링, 적대적 훈련을 통한 경계 강화, 그리고 사용자 정의 안전 정책을 반영한 동적 임계값 조정이 필요하다.