다국어 안전 격차 측정을 위한 라박벤치 구축과 인간인루프 검증

초록

라박벤치는 싱가포르의 다언어 환경을 반영한 안전 벤치마크로, Singlish, 중국어, 말레이어, 타밀어를 포함한다. 3단계 파이프라인(생성‑라벨링‑번역)을 통해 5,000여 개의 위험 텍스트를 수집·라벨링하고, LLM을 보조 도구로 활용하면서 인간 검증을 지속한다. 13개 최신 가드레일을 평가한 결과, 현존 모델들은 현지 언어에서 성능이 크게 떨어짐을 확인했다.

상세 분석

본 논문은 LLM의 다언어 안전성 평가가 표준 영어 중심 데이터에 국한돼 있다는 문제점을 지적하고, 싱가포르와 같이 언어가 복합적으로 얽힌 환경을 실험 대상으로 삼았다. 라박벤치 구축은 ‘Generate‑Label‑Translate’라는 세 단계 파이프라인으로 설계되었으며, 각 단계마다 인간‑인‑루프(HITL) 검증을 삽입해 품질을 보증한다. 첫 번째 단계에서는 현지 웹에서 수집한 Singlish 텍스트를 템플릿화하고, 자동 레드팀 공격을 통해 기존 가드레일이 놓치는 false‑negative와 false‑positive 사례를 발굴한다. 여기서 사용된 공격 LLM은 GPT‑4o와 DeepSeek‑R1이며, 인간 리뷰어가 비현실적·문화적 부조화를 걸러낸다. 두 번째 단계에서는 다중 라벨링을 위해 여섯 개 LLM을 사전 평가하고, Alt‑Test와 Cohen’s κ를 활용해 인간 전문가와의 일치도를 측정한다. 최종적으로 Gemini 2.0 Flash, o3‑mini‑low, Claude 3.5 Haiku 세 모델을 선정하고, 다수결 방식으로 라벨을 확정한다. 이 과정에서 0.70‑0.80 수준의 인간‑LLM 상호동의가 확보돼, 약 1,341개의 Singlish 샘플에 6가지 위험 카테고리(혐오, 성적, 미성년자 부적절, 자해, 모욕, 물리적 폭력 등)와 세부 심각도 라벨이 부여된다. 세 번째 단계인 번역에서는 독성 보존을 목표로, 20개의 인간 검증 샘플을 기반으로 한 few‑shot 프롬프트를 설계하고, GPT‑4o mini, DeepSeek‑R1, Gemini 2.0 Flash 등 여러 모델을 비교한다. 번역 품질 평가는 직접 의미 유사도와 역번역 일관성을 텍스트‑embedding‑3‑large로 측정했으며, 언어별 최적 few‑shot 수(k)도 실험적으로 도출했다(중국어 k=15, 말레이어 k=10, 타밀어 k=20). 결과적으로 인간 검증을 거친 번역은 평균 의미 유사도 63‑66%를 기록, 자동 번역보다 현저히 높은 품질을 보였다. 최종 데이터셋은 5,000개 이상의 예시와 다중 라벨, 인간 검증 번역을 포함하며, 공개 저장소와 코드까지 제공한다. 13개 상용 가드레일(예: LionGuard, OpenAI Moderation, AWS Bedrock 등)을 평가한 결과, Singlish와 현지 언어에서 정확도가 20‑40%p 감소하고, 특히 문화적 은어·코드‑믹스 표현을 놓치는 경우가 빈번했다. 이는 기존 안전 모델이 ‘현지화 블라인드 스팟’을 가지고 있음을 실증한다. 논문은 라박벤치가 다른 저자원 언어·다이얼렉트에 적용 가능한 재현 가능한 프레임워크임을 강조하며, 향후 LLM 안전 정렬에 지역 문화·언어 특성을 반영한 데이터가 필수적임을 주장한다.