스스로 멈추면 위험을 피한다

초록

LLM 에이전트가 불확실하거나 위험한 상황에서 “그만두기” 행동을 선택하도록 명시적 프롬프트를 추가하면, 안전 점수는 평균 0.39↑(전문 모델은 0.64↑) 상승하고 유용성 손실은 거의 없으며(‑0.03) 효과적인 안전 메커니즘으로 입증된다.

상세 분석

본 논문은 멀티턴 툴 사용 환경에서 LLM 에이전트가 직면하는 불확실성·모호성 문제를 ‘그만두기(quit)’라는 행동으로 추상화한다. 기존 연구는 주로 단일턴 텍스트 생성의 확률적 불확실성에 초점을 맞추었지만, 에이전트가 연속적인 도구 호출과 외부 시스템과 상호작용할 때는 작은 오판이 누적돼 심각한 재정·프라이버시·물리적 위험으로 이어질 수 있다. 저자들은 ToolEmu 벤치마크의 144개 고위험 시나리오를 12개의 최신 LLM(오픈·프로프라이어터리)에게 적용해 세 가지 프롬프트 전략을 비교한다. Baseline은 기존 ReAct 프롬프트로 quit 옵션이 없으며, Simple Quit은 quit 가능성을 알리지만 구체적 기준을 제시하지 않는다. Specified Quit은 “불확실하거나 위험한 상황에서는 반드시 그만두라”는 명시적 지침을 포함한다.

실험 결과는 Specified Quit이 안전 점수를 가장 크게 끌어올리며, 특히 Claude 4 Sonnet과 GPT‑4o에서 0.97~1.22점 상승을 보였다. 이는 에이전트가 위험 상황을 인식하고 작업을 중단함으로써 잠재적 해로운 행동을 사전에 차단했기 때문이다. 흥미롭게도 유용성(Helpfulness) 감소는 평균 ‑0.03에 불과해, 안전 향상이 실질적인 서비스 품질 저하를 동반하지 않음을 보여준다. Quit 비율이 높은 모델일수록 안전 점수 상승폭이 크며, 이는 ‘행동 강박(compulsion to act)’을 완화시키는 프롬프트 설계가 핵심임을 시사한다.

또한 저자들은 quit 행동을 기존 행동 공간에 추가함으로써 정책 π가 A∪{quit}으로 확장되는 수학적 정의를 제시하고, 이를 통해 에이전트가 “Final Answer”와 함께 이유를 명시하도록 강제한다. 이는 기존의 확률 기반 불확실성 추정이나 복잡한 RLHF 훈련 없이도 안전성을 확보할 수 있는 실용적 대안이다.

결과적으로, 논문은 (1) 툴 기반 멀티턴 에이전트에 quit 옵션을 도입하는 것이 안전성을 크게 향상시킨다, (2) 구체적 안전 지침을 포함한 프롬프트가 가장 효과적이다, (3) 이러한 접근은 모델 재훈련 없이 즉시 적용 가능하므로 실무적 파급력이 크다, 라는 세 가지 핵심 인사이트를 제공한다.