다층 잠재 프로토타입으로 구현하는 초경량 LLM 안전 모듈

초록

MLPM은 대형 언어 모델의 중간 레이어 표현을 활용해 안전 프로토타입을 구축하고, Mahalanobis 거리 기반 가우시안 판별기로 입력 프롬프트를 빠르게 판단한다. 다층 정보를 가중 합산하고 ℓ₁ 정규화로 희소성을 부여해 연산·메모리 오버헤드를 최소화하면서도 기존 가드 모델 수준의 정확도를 달성한다. 훈련 비용이 낮고 데이터 효율성이 뛰어나며, 다양한 모델·크기에서 SOTA 성능을 보인다.

상세 분석

본 논문은 LLM 배포 단계에서 발생할 수 있는 위험한 출력 방지를 위한 입력 모더레이션에 초점을 맞춘다. 기존의 가드 모델은 높은 정확도를 제공하지만 별도 모델을 추가해야 하며 학습 비용과 메모리 부담이 크다. 반면 잠재 기반 방법은 경량이지만 성능이 부족한 것이 일반적이다. MLPM은 이러한 트레이드오프를 해소하기 위해 “다층 프로토타입”이라는 새로운 설계를 도입한다.

우선, 사전 학습된 LLM의 각 트랜스포머 블록에서 최종 토큰의 FFN 출력(hₗ,T)을 추출한다. 같은 클래스(안전/위험) 내 샘플들의 평균 µₗ,c와 공분산 Σₗ를 계산해 클래스별 가우시안 프로토타입을 만든다. 여기서 Mahalanobis 거리를 사용해 데이터의 분산 구조를 반영함으로써 Euclidean 거리보다 더 정교한 경계 판별이 가능하다. 이 거리값을 지수화한 뒤 정규화하면 레이어별 Gaussian Discriminant Analysis(GDA) 확률 Pₗ(x∈X_harm) 가 도출된다.

다음 단계는 레이어별 확률을 어떻게 결합하느냐이다. 논문은 ℓ₁ 정규화된 가중치 wₗ을 학습해 중요한 레이어만 선택하고, 중복되는 정보를 억제한다. 최종 안전 확률은 σ(∑ₗ wₗ·Pₗ) 로 계산되며, σ는 시그모이드 함수다. ℓ₁ 정규화는 희소성을 강제해 실제 추론 시 사용되는 레이어 수를 크게 줄이면서도 성능 저하를 방지한다.

훈련 과정은 매우 가볍다. 프롬프트 데이터셋을 한 번 전방향으로 통과시키고, 각 레이어의 마지막 토큰 표현만 저장하면 된다. 역전파나 텍스트 생성이 필요 없으며, CPU에서도 수초 내에 프로토타입과 가중치를 계산할 수 있다. 실험에서는 1,000개의 라벨링된 샘플만으로도 가드 모델 수준의 F1 점수를 얻었다.

추론 시 오버헤드는 거의 무시할 수준이다. 프리필 단계에서 이미 모든 레이어의 은닉 상태가 계산되므로, 추가 연산은 GDA 확률 계산과 가중합 정도뿐이다. FLOPs 비율로는 전체 프리필 연산의 0.001% 미만이며, 메모리 사용량도 Llama‑3.1‑8B 기준 24KB 정도에 불과하다.

성능 평가에서는 Mistral, Llama, OLMo, Qwen3 등 다양한 모델에 적용했으며, 8개의 프롬프트 위험성 데이터셋(예: WildJailbreak, WildGuard‑Mix)에서 기존 잠재 기반 방법과 최신 가드 모델을 모두 앞섰다. 특히 복잡한 jailbreak 기법에 대해서도 높은 재현율을 보였으며, 데이터 부족 상황이나 도메인 이동(out‑of‑distribution)에서도 안정적인 결과를 유지했다.

또한, MLPM을 출력 모더레이션 파이프라인에 연계했을 때, 거부율(refusal rate)이 감소하고 전체 시스템 안전도가 상승하는 효과를 확인했다. 이는 입력 단계에서 위험을 사전에 차단함으로써, 후속 출력 스티어링이나 규칙 기반 필터링의 부담을 경감시킨 결과로 해석된다.

요약하면, MLPM은 (1) 다층 표현을 활용해 풍부한 의미 정보를 포착, (2) Mahalanobis‑GDA로 정교한 클래스 경계 형성, (3) ℓ₁ 기반 희소 가중치로 연산·메모리 효율 극대화, (4) 최소 데이터·컴퓨팅 비용으로 가드 모델 수준의 정확도 달성이라는 네 가지 핵심 장점을 제공한다. 이러한 설계는 실무에서 LLM을 안전하게 배포하고, 사용자 맞춤형 정책을 손쉽게 적용하려는 요구에 매우 부합한다.