블랙박스 LLM 안전 가드레일 자동 튜닝

초록

본 논문은 가중치를 수정할 수 없는 대형 언어 모델에 대해 시스템 프롬프트와 내용 필터를 조합한 안전 가드레일을 하이퍼파라미터로 간주하고, Optuna 기반의 블랙박스 최적화를 통해 최소 평가 횟수와 시간으로 최적 구성을 찾아낸다. Mistral‑7B‑Instruct와 ModernBERT 기반 유해성 분류기를 활용해 악성코드 생성·탈옥 공격·일반 질의 3가지 벤치마크를 평가하고, 48가지 조합을 전수 조사한 그리드 서치와 비교해 10배 적은 평가와 8배 빠른 실행 시간을 달성하였다.

상세 분석

이 연구는 “안전 가드레일 자체를 하이퍼파라미터”라는 새로운 관점을 제시한다는 점에서 의미가 크다. 기존에는 시스템 프롬프트와 필터링 정책을 경험적·수동적으로 조정했지만, 저자는 이를 이산적인 탐색 공간 C(4개의 프롬프트 스니펫 각각의 on/off와 3가지 필터 모드)로 정의하고, 블랙박스 최적화 기법인 Optuna를 적용했다.

첫 번째 핵심은 평가 지표 설계다. 악성코드 생성 성공률(ASR_mal), 탈옥 성공률(ASR_jb), 정상 질의에 대한 과잉 차단 비율(Harm_ben), 그리고 평균 지연시간(Latency) 네 가지를 정량화하고, 각각을 0~1로 정규화한 뒤 가중합(0.4·ASR_mal + 0.4·ASR_jb + 0.1·Harm_ben + 0.1·Latency)으로 단일 스칼라 목표를 만든 점이다. 이는 안전성(악성·탈옥)과 사용성(정상 응답·지연) 사이의 트레이드오프를 명시적으로 반영한다.

두 번째는 실험 설계다. 50개씩 추출한 3개 공개 데이터셋(RMCBench, ChatGPT‑Jailbreak‑Prompts, JBB‑Behaviors)을 사용해 각 구성의 성능을 측정했으며, 그리드 서치로 48가지 전부를 평가해 베이스라인을 만든 뒤, Optuna에서는 24회의 트라이얼을 10개 샘플(빠른 루프)로 진행하고 상위 5개를 전체 50개 샘플에 재평가했다. 결과적으로 Optuna는 최적에 근접한 구성을 48번 전체 평가 대비 약 10배 적은 평가 횟수와 8배 짧은 벽시계 시간으로 찾아냈다.

세 번째는 가드레일 효과 분석이다. 베어 모델은 탈옥 성공률이 0.98에 달해 방어가 거의 불가능했으며, 악성코드 생성도 0.48 수준이었다. 필터만 적용해도 악성코드 ASR이 0.38로 감소했지만, 탈옥 방어는 크게 개선되지 않았다. 시스템 프롬프트와 필터를 조합한 구성(JB1+JB2+MW1+MW2+ mild)에서는 악성코드와 탈옥 ASR이 모두 감소하고, 정상 질의 차단 비율도 0.22 수준으로 낮아졌다. 이는 프롬프트 기반 사전 경고와 분류기 기반 사후 차단이 상호 보완적으로 작용한다는 실증적 증거다.

마지막으로 한계와 향후 과제도 명확히 제시한다. 데이터 규모가 작고 영어에 국한되며, 동일 분류기를 평가와 차단에 동시에 사용해 편향이 존재한다. 또한 단일 턴 평가에 머물러 멀티턴 프롬프트 인젝션을 다루지 않는다. 향후에는 더 다양한 위험 유형(혐오, 개인정보 유출 등), 멀티턴 공격, 인간 평가를 포함한 다목적 최적화(제약 기반 혹은 파레토 최적화)로 확장할 필요가 있다.

전반적으로 이 논문은 실무에서 “안전 가드레일을 자동 튜닝한다”는 아이디어를 검증 가능한 실험과 함께 제시함으로써, 제한된 컴퓨팅·시간 환경에서도 블랙박스 LLM 배포 시 안전성을 체계적으로 강화할 수 있는 실용적 방법론을 제공한다.