안전한 LLM을 위한 널스페이스 기반 거부 스티어링 알파스티어

초록

알파스티어는 LLM이 악의적인 프롬프트에 대해 거부하도록 내부 활성화를 조정하면서, 정상적인 질문에 대해서는 모델의 원래 성능을 유지하도록 설계된 활성화 스티어링 기법이다. 핵심 아이디어는 벤젠 프롬프트의 활성화는 널스페이스에 투영해 거의 제로 벡터를 만들고, 악성 프롬프트는 선형 회귀를 통해 사전에 정의된 거부 방향 벡터로 매핑한다는 점이다. 이론적 근거와 실험을 통해 안전성은 크게 향상되면서도 유틸리티 손실은 최소화됨을 입증한다.

상세 분석

알파스티어는 기존 활성화 스티어링이 “모든 입력에 동일한 거부 벡터를 더한다”는 단순 방식을 넘어, 스티어링 과정을 학습 가능한 매핑 Δ 으로 재정의한다. Δ는 입력 활성화 h 에 곱해져 스티어링 벡터 s = Δh 를 생성하고, 최종 활성화 h′ = h + λs 로 변환된다. 여기서 두 개의 핵심 목표가 동시에 최적화된다. 첫째, 유틸리티 보존을 위해 벤젠(정상) 프롬프트 집합 D_b 의 활성화 행렬 H_b 에 대해 ΔH_b = 0 을 만족하도록 Δ를 H_b 의 왼쪽 널스페이스에 제한한다. 이를 위해 논문은 H_bH_bᵀ 의 특이값 분해(SVD)를 수행하고, 작은 고유값에 대응하는 고유벡터들로 구성된 널스페이스 투영 행렬 P 를 만든 뒤, Δ = \tildeΔ P 형태로 파라미터화한다. 이렇게 하면 Δ가 벤젠 활성화에 대해 거의 제로 효과만을 내므로, 정상적인 질문에 대한 모델 출력이 거의 변하지 않는다. 둘째, 안전성 강화 측면에서는 악성(조작) 프롬프트 집합 D_m 의 활성화를 목표 거부 방향 r 에 가깝게 매핑하도록 Δ를 학습한다. 논문은 선형 회귀 손실 ‖Δh_m − r‖² 을 최소화함으로써, 악성 입력에 대해서는 스티어링 벡터가 명시적인 거부 방향을 재현하도록 한다. 이 과정은 λ와 별개로 동작하므로, 스티어링 강도는 고정된 스칼라가 아니라 학습된 매핑에 의해 자동 조절된다.

알파스티어는 기존의 “벡터 보정”과 “조건부 스티어링”이 경험적 규칙에 의존하고, 임계값 설정이 불안정하다는 한계를 극복한다. 널스페이스 제약은 이론적으로 보장된 유틸리티 보존을 제공하고, 선형 회귀 기반의 안전성 목표는 명시적인 최적화 목표를 통해 거부 행동을 일관되게 유도한다. 실험에서는 다양한 최신 jailbreak 공격(예: “역프롬프트”, “역역프롬프트”, “시스템 프롬프트 변조”)에 대해 알파스티어가 기존 방법보다 높은 거부 성공률을 보였으며, 동시에 GLUE, MMLU, TruthfulQA 등 일반 능력 벤치마크에서 성능 저하가 거의 없었다. 시각화(PCA) 결과는 악성 입력의 활성화가 명확히 r 방향으로 이동하는 반면, 정상 입력은 거의 원래 위치에 머무르는 것을 보여준다. 또한, 스티어링 강도 λ를 증가시켜도 널스페이스 제약 덕분에 정상 입력의 변형이 최소화되는 점이 확인되었다.

이러한 설계는 추후 LLM 배포 환경에서 사후 학습 없이도 안전성을 강화할 수 있는 실용적인 솔루션을 제공한다. 특히, Δ를 레이어별로 독립적으로 학습하거나, 여러 레이어에 동시에 적용함으로써 다양한 모델 아키텍처에 적용 가능하다는 점이 장점이다. 다만, 널스페이스 계산 비용이 높은 차원(예: 4096)에서는 SVD 비용이 부담될 수 있어, 근사 방법이나 차원 축소 기법이 필요할 수 있다. 또한, 악성 프롬프트의 정의와 r 벡터의 추출 방식에 따라 성능 변동이 있을 수 있으므로, 실제 서비스에서는 지속적인 데이터 업데이트와 모니터링이 요구된다. 전반적으로 알파스티어는 안전성‑유틸리티 트레이드오프를 이론적으로 정량화하고, 실험적으로 검증한 최초의 널스페이스 기반 활성화 스티어링 접근법이라 할 수 있다.