Few‑Shot 시연이 RoP와 ToP 방어에 미치는 상반된 영향

초록

본 논문은 롤 기반 프롬프트(RoP)와 작업 기반 프롬프트(ToP) 방어에 Few‑Shot 시연을 결합했을 때의 안전성 변화를 체계적으로 평가한다. 실험 결과, Few‑Shot은 RoP의 안전 비율을 최대 4.5 % 상승시키는 반면, ToP에서는 최대 21.2 % 감소시킨다. 저자는 역할 강화와 주의 분산 메커니즘을 제시하고, “Think 모드 패러독스”(추론 강화 모델이 더 취약) 현상을 발견한다. 실무 적용을 위한 구체적 가이드라인도 제공한다.

상세 분석

본 연구는 프롬프트 기반 방어 전략을 두 축으로 구분한다. 첫 번째는 모델을 “안전한 AI 어시스턴트”라는 정체성으로 정의하는 Role‑Oriented Prompt(RoP)이며, 두 번째는 “안전한 응답을 생성하라”는 작업 목표를 명시하는 Task‑Oriented Prompt(ToP)이다. 기존 연구에서는 Few‑Shot 시연이 안전성을 저해할 수 있다는 점만을 제시했지만, 이 논문은 두 방어 방식에 대한 상호작용을 정량적으로 분석한다.

실험 설계는 다음과 같다. Pangu, Qwen, DeepSeek, Llama 등 네 종류의 주류 LLM을 대상으로 AdvBench, HarmBench, SG‑Bench, XSTest 네 개의 안전 벤치마크와 AIM, DAN, Evil‑Confident, Prefix‑Rejection, Poems, Refusal‑Suppression 등 여섯 가지 jailbreak 공격을 조합하였다. 각 조합마다 시스템 프롬프트만 사용한 경우와 Few‑Shot 시연(3‑5개의 안전 예시)을 추가한 경우를 비교하였다.

주요 결과는 두 가지 상반된 경향이다. RoP에 Few‑Shot을 삽입하면 안전 비율이 평균 2.0 % 상승하고, 최고 4.5 %까지 개선된다. 이는 시연 예시가 “안전 어시스턴트”라는 역할 정체성을 강화하고, 모델의 내부 베이지안 사후분포를 역할‑관련 파라미터 쪽으로 편향시키기 때문이다. 반면 ToP에 동일한 Few‑Shot을 적용하면 안전 비율이 평균 6.6 % 감소하고, 최악의 경우 21.2 %까지 급격히 떨어진다. 저자는 이를 “주의 분산(attention distraction)” 현상으로 설명한다. ToP는 작업 목표를 명시적으로 제시하지만, 앞쪽에 위치한 시연 예시가 어텐션 메커니즘에서 초기 토큰에 과도하게 집중되는 “attention sink” 현상을 일으켜, 핵심 작업 지시가 중간 혹은 뒤쪽에 위치할 경우 무시되는 구조적 결함을 드러낸다.

또한, “Think 모드 패러독스”를 발견하였다. 체인‑오브‑생각(Chain‑of‑Thought)이나 기타 추론 강화 기법을 적용한 모델은 전반적으로 jailbreak 성공률이 높으며, Few‑Shot이 RoP와 ToP 모두에 미치는 영향이 증폭된다. 이는 추론 과정에서 모델이 더 많은 내부 토큰을 활성화시키면서, 안전 지시보다 공격 지시가 더 큰 가중치를 얻기 때문이다.

이론적 분석에서는 베이지안 인‑컨텍스트 학습 프레임워크를 도입해, Few‑Shot이 사전 확률을 어떻게 재조정하는지 수식화하였다. 또한 어텐션 가중치 분포를 분석해, 초기 토큰이 전체 컨텍스트에서 차지하는 비중이 30 % 이상일 수 있음을 실험적으로 확인했다. 이러한 수학적 근거는 실험 결과와 일관되게 맞물려, RoP와 ToP 간의 상호작용 차이를 설명한다.

마지막으로 실무 적용을 위한 권고사항을 제시한다. RoP를 채택한 시스템에서는 안전 예시를 포함한 Few‑Shot 시연을 적극 활용해 역할 정체성을 강화할 것을 권장한다. 반면 ToP 기반 시스템에서는 시연 예시를 배제하거나, 예시를 시스템 프롬프트 뒤가 아닌 별도 “보조 프롬프트”로 분리해 어텐션 흐름을 방해하지 않도록 설계해야 한다. 또한 추론 강화 모델을 운영할 경우, 별도 “think‑mode 억제” 메커니즘을 도입해 공격 성공률을 낮출 필요가 있다.