LLM 안전을 위한 체계적 스트레스‑테스트 프레임워크, TamperBench

초록

TamperBench는 오픈‑weight 대형 언어 모델(LLM)의 가중치·잠재공간 변조에 대한 내성을 표준화된 공격·방어·평가 파이프라인으로 정량화한다. 21개 모델·9가지 공격·다양한 정렬 단계 방어를 대상으로 안전(거부율)와 유용성(능력 벤치마크)을 동시에 측정하고, 하이퍼파라미터 전역 탐색을 통해 현실적인 적대적 상황을 재현한다. 실험 결과, jailbreak‑tuning이 가장 위협적인 공격이며, Triplet 방어가 안전성 유지와 능력 보존 양쪽에서 최선임을 보여준다.

상세 분석

TamperBench는 현재 LLM 안전성 연구에서 가장 큰 문제점인 ‘평가 표준 부재’를 근본적으로 해결한다는 점에서 의의가 크다. 첫째, 공격군을 가중치‑공간(Fine‑tuning, LoRA, Full‑parameter tuning 등)과 잠재공간(Representation perturbation, Ablation)으로 명확히 구분하고, 각 공격마다 5~7개의 핵심 하이퍼파라미터(학습률, 에포크 수, 데이터 비율, 손실 가중치 등)를 Optuna 기반 자동 탐색으로 전역 최적화한다. 이는 기존 연구가 단일 파라미터 설정에 의존해 결과가 과대·과소 평가되는 문제를 최소화한다.

둘째, 안전성 지표를 단순 ‘거부 여부’가 아닌 StrongREJECT, Refusal‑Rate, Harmful‑Response‑Rate 등 다중 메트릭으로 구성하고, 능력 평가는 MMLU‑Pro, GSM‑8K, HumanEval 등 최신 벤치마크를 포괄한다. 이렇게 하면 공격 후 모델이 위험한 답변을 늘리면서도 동시에 능력이 급격히 저하되는 ‘위험 없는 위험’ 상황을 식별할 수 있다.

셋째, 방어 체계는 정렬 단계(Alignment‑stage), 미세조정 단계(Fine‑tuning‑stage), 사후 단계(Post‑tuning)로 구분하고, 특히 오픈‑weight 모델에 적용 가능한 정렬 단계 방어에 초점을 맞춘다. Triplet(시뮬레이션 기반 정렬), Self‑Consistency, 그리고 최근 제안된 Guard‑LLM 등을 플러그인 형태로 손쉽게 삽입할 수 있게 설계했다.

실험 결과는 두드러진 인사이트를 제공한다. (1) jailbreak‑tuning(악의적 프롬프트와 데이터 혼합) 공격이 대부분의 모델에서 가장 높은 Harmful‑Response‑Rate를 유발했으며, 특히 Llama‑3와 Qwen‑3 같은 최신 모델에서도 방어가 어려웠다. (2) 사후 미세조정(Post‑tuning) 방어는 일부 공격에만 효과적이었고, 전체적인 안전성 향상에는 한계가 있었다. (3) Triplet 방어는 안전성 손실을 최소화하면서도 MMLU‑Pro 점수를 2~3% 이상 유지하는 등, 안전·능력 트레이드오프를 가장 잘 균형 잡았다.

또한, ‘후‑학습(Post‑training)’이 모델마다 상반된 영향을 미친다는 점을 발견했다. Llama‑3는 후‑학습 후 tamper‑resistance가 향상되었지만, Qwen‑3은 오히려 취약해졌다. 이는 모델 아키텍처와 사전 학습 데이터 특성에 따라 정렬 전략이 달라야 함을 시사한다.

마지막으로, TamperBench는 코드·데이터·실험 로그를 모두 공개하고, Docker·Singularity 이미지까지 제공함으로써 재현성을 극대화한다. 연구자는 새로운 공격·방어를 ‘attack.yaml’·‘defense.yaml’ 파일만 추가하면 즉시 벤치마크에 통합할 수 있다. 이러한 설계는 커뮤니티 기반 지속 가능한 평가 생태계를 구축하는 데 큰 기여를 할 것으로 기대된다.