LLM 안전을 위한 실패‑클로즈 정렬

초록

본 논문은 현재 대형 언어 모델(LLM)의 정렬 메커니즘이 단일 거부 방향에 의존해 “실패‑오픈” 구조를 갖는다는 문제를 지적한다. 이를 해결하기 위해 “실패‑클로즈 정렬”이라는 설계 원칙을 제시하고, 기존 거부 방향을 순차적으로 식별·제거하면서 새로운 독립적인 거부 서브스페이스를 학습하도록 하는 점진적 정렬 프레임워크를 구현한다. 네 가지 jailbreak 공격에 대해 92‑97%의 성공률 감소와 높은 유용성 유지라는 실험적 결과를 보이며, 다중 독립 거부 방향이 실제로 형성됨을 메커니즘 분석을 통해 입증한다.

상세 분석

이 논문은 LLM 정렬이 “실패‑오픈”이라는 구조적 취약점을 가지고 있음을 실증한다. 기존 연구에서 거부(refusal) 행동이 여러 잠재 특징에 분산돼 있다고 보고했음에도, 실제로는 하나의 지배적인 선형 방향(DIM)이 대부분의 거부를 담당한다는 점을 Figure 1을 통해 명확히 보여준다. 이 지배적 방향을 프롬프트 기반 jailbreak(예: GCG, AutoDAN, HumanJailbreak 등)로 억제하면 거부 메커니즘이 급격히 붕괴하고, 모델은 위험한 출력을 그대로 생성한다. 즉, 현재 정렬은 부분적인 실패가 발생하면 자동으로 “허용” 상태가 되는 fail‑open 시스템이다.

논문은 이를 극복하기 위한 설계 원칙으로 “fail‑closed alignment”을 제시한다. 핵심 아이디어는 거부 메커니즘을 다수의 독립적인 인과 경로에 분산시켜, 어느 하나가 억제되더라도 다른 경로가 여전히 거부를 수행하도록 하는 것이다. 이를 구현하기 위해 저자는 다음과 같은 점진적 알고리즘을 설계하였다.

1. 거부 방향 식별: 매 반복마다 Refusal Direction Optimization(RDO)이라는 최신 gradient‑based 방법을 사용해 현재 모델에서 가장 강력한 거부 방향 r_k를 찾아낸다. 기존 DIM 초기값을 이용해 안정성을 높이고, 이전에 발견된 방향들과 선형 독립성을 확보하기 위해 정규화·투영 과정을 거친다.

2. 다중 특징 억제 연산자(MFA) 구축: 현재까지 식별된 {r_1,…,r_k} 집합의 스팬을 QR 분해를 통해 직교 기저 Q_k로 변환하고, 모든 레이어·토큰의 은닉 상태에서 Q_k Q_k^T를 빼는 orthogonal projection을 적용한다. 이는 단일 방향 억제와 달리 다중 독립 방향을 동시에 제거한다.

3. 새로운 거부 메커니즘 학습: 억제 연산자를 적용한 상태에서 안전 데이터(D_safe)와 유틸리티 데이터(D_util)를 동시에 사용해 손실 L_safe + λ·L_util을 최소화한다. 안전 손실은 거부를 유지하도록 설계된 CircuitBreaker adversarial 데이터셋을 기반으로 하고, 유틸리티 손실은 Alpaca와 XSTest 등에서 추출한 친절한 프롬프트를 이용한다. 이렇게 하면 모델은 기존 방향이 차단된 상황에서도 거부를 수행할 새로운 서브스페이스를 스스로 학습한다.

이 과정을 K번 반복하면, 모델은 K개의 서로 독립적인 거부 방향을 보유하게 된다. 실험에서는 K=4 정도면 대부분의 최신 jailbreak 공격에 대해 92‑97%의 성공률 감소를 달성했으며, 과도한 거부(over‑refusal) 없이 평균 86% 수준의 정상 응답률을 유지했다. 또한 LoRA 기반 파라미터 효율적인 파인튜닝(≈5% 파라미터)으로도 동일한 성능을 얻어, 계산 비용이 크게 증가하지 않음을 입증했다.

메커니즘 분석에서는 각 반복 후 학습된 r_k들의 코사인 유사도가 거의 0에 가깝고, 개별 jailbreak이 모든 r_k를 동시에 억제하지 못함을 보여준다. 이는 실제로 “인과적 독립성”을 확보했음을 의미한다. 반면, 기존 방법(단일 방향 강화, 혹은 단순 adversarial fine‑tuning)은 여전히 하나의 지배적 특징에 의존해 공격에 취약함을 재현 실험으로 확인했다.

이 논문의 주요 기여는 (1) LLM 정렬이 구조적으로 fail‑open임을 정량적으로 증명, (2) fail‑closed 정렬이라는 새로운 설계 원칙을 제시, (3) 다중 독립 거부 방향을 강제하는 점진적 학습 프레임워크와 그 구현 방법을 제공, (4) 다양한 jailbreak에 대한 강인성을 실험적으로 입증하고, (5) 메커니즘 분석을 통해 실제 인과적 독립성을 확인했다는 점이다. 이러한 접근은 향후 LLM 안전성을 설계할 때 “안전 메커니즘 자체를 구조화”하는 방향으로 연구를 전환시키는 중요한 전환점이 될 것으로 기대된다.