역추론 기반 AI 안전 강화 프레임워크 InvThink

초록

InvThink은 대규모 언어 모델이 응답을 생성하기 전에 잠재적 위험을 열거·분석하고, 이를 회피하도록 제약을 두는 ‘역추론(inverse reasoning)’ 과정을 삽입한다. 데이터 증강, 감독 미세조정, GRPO 기반 강화학습의 3단계 학습 파이프라인을 통해 모델 규모가 커질수록 안전성은 크게 향상되면서도 일반 추론 능력은 유지한다. 실험 결과, 기존 SafetyPrompt 대비 최대 17.8%의 유해 응답 감소와 다양한 벤치마크에서 안전‑성능·일반성능 모두에서 우수함을 보였다.

상세 분석

InvThink은 기존 안전 정렬 기법이 ‘앞으로만(forward)’ 안전성을 학습시키는 한계를 극복하고자, 위험을 사전에 탐지·예측하는 역방향 사고 과정을 모델에 내재화한다는 점에서 혁신적이다. 구체적으로는 (1) 데이터 증강 단계에서 교사 모델(Gemini‑2.5 Pro)을 활용해 원본 프롬프트에 ‘위험 열거(Harm Enumeration)’, ‘결과 분석(Consequence Analysis)’, ‘완화 전략(Mitigation Strategy)’이라는 세 부분으로 구성된 역추론 트레이스를 자동 생성한다. 이 트레이스는 각 위험에 대한 구체적 설명과 회피 조건을 제공함으로써, 모델이 단순히 “안전한 답변”을 모방하는 것이 아니라 위험을 인식하고 회피하도록 학습한다.

(2) 감독 미세조정(SFT) 단계에서는 증강된 (프롬프트, 역추론 트레이스, 안전 응답) 삼중 데이터를 이용해 다중 과제 손실 L_SFT = −log pθ(z_inv, y* | x)를 최소화한다. 여기서 모델은 역추론 트레이스를 생성하고, 그 트레이스를 조건으로 최종 응답을 생성하도록 동시에 학습한다. 이는 기존 CoT·ToT와 달리 ‘위험 사전열거’를 생성 과정에 포함시켜, 위험 회피를 위한 제약이 자연스럽게 언어 모델의 파라미터에 통합되도록 만든다.

(3) 강화학습(RL) 단계에서는 Group Relative Policy Optimization(GRPO)을 적용한다. GRPO는 정책 πθ가 생성한 G = 4개의 후보 응답에 대해 안전 보상 r_i = R_safety(ŷ_i) 를 부여하고, 평균 보상 \bar r 에 대한 상대 이득 A_i = r_i − \bar r 을 계산한다. 이후 클리핑 및 KL‑다이버전스 제약을 포함한 목표 L_GRPO 를 최적화함으로써, 정책이 안전 보상이 높은 응답을 더 많이 선택하도록 유도한다. 특히, 기존 PPO와 달리 가치 함수가 필요 없으므로 학습 효율이 높으며, DPO와 비교해 다중 순위 정보를 활용해 미세한 선호 차이를 반영한다는 장점이 있다.

실험 설계는 세 가지 LLM 패밀리(Qwen‑2.5, Qwen‑3, Gemma‑7B)와 다양한 규모(7B8B) 모델에 대해 수행되었다. 안전성 평가는 SafetyBench, TRIDENT, Insider Threat 등 3개의 독립적인 벤치마크와 3명의 인간 평가자(모델: Gemini‑2.5 Pro, o3‑mini, Claude 3.7 Sonnet)로 이루어졌으며, 상관계수 r = 0.819, ρ = 0.831, 안전 합의율 86.9%를 기록했다. InvThink은 특히 고위험 도메인(의료·금융·법률)과 ‘에이전시 위험’(협박·살인) 시나리오에서 기존 SafetyPrompt 대비 1017.8% 수준의 유해 응답 감소를 달성했다.

또한, 모델 규모와 안전성 향상의 상관관계를 분석한 결과, InvThink은 모델이 커질수록 안전 점수가 꾸준히 상승하는 반면, 기존 CoT·ToT 기반 방법은 규모 확대 시 안전성 향상이 포화되거나 오히려 감소하는 현상을 보였다. 이는 역추론 트레이스가 모델의 내재적 추론 능력과 결합돼, ‘안전세금(safety tax)’을 최소화하고 일반 성능(예: MMLU, GSM‑8K)에도 부정적 영향을 주지 않음을 의미한다.

한계점으로는 (i) 교사 모델에 의존하는 데이터 증강 단계에서 교사 모델 자체의 편향이 전이될 위험, (ii) 역추론 트레이스가 길어질 경우 토큰 제한에 걸려 응답 길이가 제한될 가능성, (iii) 현재는 주로 텍스트 기반 위험에 초점을 맞추었으며, 멀티모달·실시간 인터랙션 상황에서는 추가 연구가 필요하다는 점을 들 수 있다. 향후 연구에서는 교사 모델 없이 자체적으로 위험을 탐색하도록 하는 자기‑지도 학습, 그리고 멀티모달 환경에서의 역추론 적용 방안을 모색할 여지가 있다.

전반적으로 InvThink은 ‘위험을 먼저 생각한다’는 사고방식을 언어 모델에 체계적으로 주입함으로써, 안전 정렬의 근본적인 패러다임을 전환하고, 규모에 따라 안전성을 지속적으로 향상시킬 수 있는 실용적인 로드맵을 제시한다.