단일 뉴런으로 LLM 안전성을 높이는 경량 정렬 기법

초록

본 논문은 가장 작은 규모의 전문가 모델만을 경량 학습하고, 단일 뉴런 기반 게이트를 통해 베이스 모델과 전문가 모델 사이의 확률 차이를 누적 신호로 활용한다. 위험이 지속적으로 감지될 때만 안전 디코딩을 적용함으로써 안전성은 강화하고, 정상 상황에서는 원래 모델의 유틸리티를 유지한다.

상세 분석

NGSD(Neuron‑Guided Safe Decoding)는 기존의 사후‑학습 정렬 방식과 달리 추론 단계에서만 개입한다는 점에서 비용 효율성이 뛰어나다. 핵심 아이디어는 베이스 모델 M_b와 경량 안전 전문가 M_e 사이의 출력 분포 차이를 ℓ₁ 노름으로 정량화하고, 이를 단일 인공 뉴런에 입력 신호(Iₜ)로 넣어 시간적 누적을 수행한다는 것이다. 뉴런은 막전위(V)와 스파이크(S) 메커니즘을 모방해, 순간적인 변동은 무시하고 지속적인 위험 신호가 임계값(v_th)을 초과할 때만 ‘게이트’를 활성화한다. 이때 SafeDecoding 방식과 동일하게 로그잇을 보정하고, α 파라미터는 프롬프트‑레벨 자기반성 단계에서 사전 계산된 위험 점수(r)에 기반해 고정된다.

이 설계는 세 가지 측면에서 의미가 있다. 첫째, 전문가 모델을 가장 작은 모델로 제한함으로써 안전 지식 전이 비용을 크게 낮춘다. 동일한 모델 패밀리 내에서는 토크나이저와 출력 공간이 공유되므로, M_e를 한 번 학습하면 M_b가 여러 규모로 확장될 때 재학습이 필요 없다. 둘째, 단일 뉴런 게이트는 기존의 ‘즉시‑반응’ 방식보다 과잉 개입을 방지한다. 위험 신호가 일시적일 경우 베이스 모델의 출력을 그대로 사용하므로, 유창성·창의성 손실이 최소화된다. 셋째, α 값을 프롬프트 수준에서 사전에 결정함으로써 디코딩 중 파라미터 튜닝 비용을 없앤다. 이는 실시간 서비스에 적합한 고정‑오프라인 설정을 가능하게 한다.

하지만 몇 가지 한계도 존재한다. 위험 신호를 ℓ₁ 차이만으로 정의하면, 베이스와 전문가 사이의 일반적인 확률 변동도 위험으로 오인될 위험이 있다. 특히 전문가 모델이 충분히 강력하지 않으면, 차이가 크게 나타나도 실제 위험이 아닐 수 있다. 또한 뉴런의 시간 상수(τₘ)와 임계값(v_th) 등 하이퍼파라미터가 모델·데이터에 따라 민감하게 변동할 가능성이 있어, 자동 튜닝 메커니즘이 필요하다. 실험 섹션에서는 다양한 모델 규모와 벤치마크에 대해 안전성·유틸리티 트레이드오프를 보여주지만, 구체적인 수치·통계 분석이 부족하고, 최신 공격(예: 자동화된 jailbreak) 대비 성능이 충분히 검증되지 않은 점도 아쉽다. 마지막으로, 안전 전문가를 ‘가장 작은 모델’로 제한함으로써, 대규모 모델이 내재하고 있는 복잡한 위험 인식을 충분히 활용하지 못할 가능성도 있다.

전반적으로 NGSD는 “경량·선택적·다중‑모델 전이 가능”이라는 새로운 정렬 패러다임을 제시하며, 특히 제한된 연산 자원과 빠른 배포가 요구되는 산업 현장에 유용할 것으로 보인다. 향후 연구에서는 위험 신호의 다중 차원화, 뉴런 게이트의 학습 기반 최적화, 그리고 다양한 공격 시나리오에 대한 견고성 평가가 필요하다.