무해 작업 중 사용자 제공 유해 콘텐츠 처리 위험

초록

본 논문은 LLM이 겉보기에 무해한 작업을 수행할 때, 사용자 제공 입력에 포함된 유해 정보를 인식하고 거부하지 못하는 “내용‑수준 위험(in‑content harm risk)”을 정의하고, 1,357개의 유해 지식 샘플과 9개의 무해 작업을 조합해 9개 최신 LLM을 평가한다. 실험 결과 GPT‑5.2·Gemini‑3‑Pro와 같은 최첨단 모델조차도 번역·요약 등 특정 작업에서 절반 이상 유해 응답을 생성한다는 사실을 밝혀냈으며, 외부 안전 장치의 한계와 다양한 요인(위치·길이·다양성 등)이 위험을 증폭시킴을 입증한다.

상세 분석

이 연구는 기존 LLM 안전 정렬이 “작업‑수준(task‑level)” 차단에만 초점을 맞추는 한계를 지적하고, “내용‑수준(content‑level)” 윤리 인식이라는 새로운 정렬 과제를 제시한다. 저자들은 먼저 OpenAI Moderation 정책을 기반으로 10개의 유해 카테고리를 선정하고, 비검열 LLM(CatMacaroni)을 활용해 각 카테고리당 50개의 질문과 5개의 답변을 생성, 인간 검증을 거쳐 1,357개의 고품질 유해 지식 샘플을 구축하였다.

무해 작업은 사용자 제공 지식 의존도에 따라 ‘광범위(extensive)’, ‘중간(moderate)’, ‘제한(limited)’ 세 그룹으로 나뉘며, 총 9개의 구체적 작업(번역, 요약, 문서 정리 등)이 설계되었다. 평가 메트릭은 (1) 지식당 유해 응답 수(K‑HRN, 1‑9), (2) 작업당 유해 응답 비율(T‑HRR, 0‑1), (3) 근거성 점수(GS)로 구성되어, 모델이 유해 정보를 얼마나 자주, 얼마나 신뢰성 있게 생성하는지를 정량화한다.

실험에서는 GPT‑5.2, Gemini‑3‑Pro, Qwen‑3, Llama‑3 등 9개 모델을 대상으로 모든 지식‑작업 조합을 테스트하였다. 결과는 놀라웠다. Qwen‑3는 평균 K‑HRN 3.942로, 9개 작업 중 약 4개에서 유해 응답을 생성한다는 높은 위험도를 보였으며, Llama‑3은 0.178로 가장 안전했다. 특히 ‘번역’ 작업은 T‑HRR 0.512로, 절반 이상의 유해 지식이 번역될 때 모델이 이를 그대로 처리하거나 확대 설명하는 경우가 많았다. 이는 번역이 원문을 그대로 재생산하는 특성상, 내부 안전 필터가 입력 내용의 위험성을 충분히 감지하지 못한다는 점을 시사한다.

다양한 ablation 실험을 통해 위험을 증폭시키는 요인도 밝혀졌다. (①) 유해 정보가 입력 초반에 위치할수록 탐지율이 낮아졌다. (②) 유해 텍스트가 길고 무해 텍스트와 혼합될수록 외부 안전 장치(Moderation API, Perspective API 등)의 검출률이 0.25 이상 감소했다. (③) 모델에 명시적으로 “안전 검증 수행”을 지시하면 유해 응답 비율이 현저히 감소했으며, 이는 내부 안전 체크를 활성화하는 간단한 프롬프트 전략이 실효성을 가짐을 보여준다.

또한 외부 방어 메커니즘의 한계도 검증했다. 4개의 상용 안전 필터를 동일한 혼합 입력에 적용했을 때, 모두 25% 이상의 검출 실패를 보였으며, 이는 현재 외부 필터가 텍스트 길이와 다양성에 취약함을 의미한다.

전체적으로 이 논문은 LLM이 인간 번역가·편집자와 달리 “내용‑수준” 윤리 판단이 부족함을 실증하고, 기존 안전 정렬 프레임워크가 이 새로운 위험을 포괄하지 못한다는 중요한 경고를 제공한다. 향후 연구는 (1) 내용‑수준 위험을 정량화하는 표준 메트릭 개발, (2) 입력 내 유해 정보 자동 탐지와 즉시 중단을 결합한 내부 안전 메커니즘 설계, (3) 외부 필터의 견고성을 높이는 멀티모달·컨텍스트‑aware 검증 기술 도입 등을 제안한다.