전문 분야 맞춤형 LLM 가드레일, ExpGuard와 ExpGuardMix 데이터셋

초록

ExpGuard는 금융·의료·법률 등 고위험 전문 분야에 특화된 LLM 콘텐츠 가드레일 모델이며, 58,928개의 라벨링된 프롬프트·응답 쌍을 포함한 ExpGuardMix 데이터셋을 공개한다. 도메인‑특화 용어 추출·LLM 기반 생성·전문가 검증 과정을 통해 구축된 ExpGuardTrain/ExpGuardTest를 활용해 모델을 학습·평가했으며, 기존 최첨단 Guardrail인 WildGuard 대비 프롬프트 분류에서 +8.9%, 응답 분류에서 +15.3%의 성능 향상을 달성했다. 코드·데이터·모델을 모두 오픈소스로 제공해 추가 도메인 확장을 촉진한다.

상세 분석

ExpGuard 논문은 현재 LLM 안전 가드레일이 일반 대화 위주로 설계돼 도메인‑특화 위험을 포착하지 못한다는 문제점을 정확히 짚고 있다. 특히 금융의 “haircut”, 의료의 “off‑label use”, 법률의 “juror manipulation” 등 전문 용어가 포함된 악의적 요청은 일반 모델이 의미를 오해해 차단에 실패한다. 이를 해결하기 위해 저자들은 세 단계의 데이터 파이프라인을 제시한다. 첫 번째 단계는 Wikipedia와 Wikidata를 활용한 도메인‑특화 용어 마이닝이다. 여기서는 비전문 엔터티를 필터링하고, GPT‑4o와 인간 검증을 거쳐 실제 위험 시나리오에 연관된 용어만을 추출한다. 두 번째 단계는 추출된 용어를 프롬프트와 응답 생성에 활용하는 과정이다. GPT‑4o를 이용해 “harmful”와 “benign” 프롬프트를 자동 생성하고, 각각에 대응하는 거부 응답과 안전한 응답을 LLM에게 생성하도록 설계했다. 세 번째 단계는 LLM 기반 라벨링, 다수결 투표, 중복 제거 등을 통해 최종 데이터셋을 정제한다. 결과적으로 58,928개의 라벨링된 샘플(56,653개는 학습용, 2,275개는 전문가 검증 테스트용)이 확보되었다.

모델 자체는 명시되지 않았지만, ExpGuard가 “prompt classification”과 “response classification” 두 축에서 평가된 점을 보면, 입력 프롬프트가 위험한지 여부와 모델 출력이 정책에 위배되는지를 각각 판단하는 이중‑스테이지 분류 구조일 가능성이 높다. 학습에는 ExpGuardTrain의 56k 샘플을 사용해 다중 도메인 라벨링을 수행하고, 도메인‑특화 어텐션 메커니즘이나 프롬프트‑튜닝 기법을 적용했을 것으로 추정된다.

평가에서는 자체 ExpGuardTest와 8개의 공개 안전 벤치마크(예: ToxicChat, HarmBench, WildGuardTest 등)를 사용했다. 일반 안전 지표에서는 기존 모델과 비슷한 수준을 유지하면서, 도메인‑특화 공격에 대해서는 WildGuard 대비 평균 8.9%·15.3%의 정확도 향상을 기록했다. 특히 “haircut” 같은 금융 용어, “off‑label” 같은 의료 용어, “voir dire manipulation” 같은 법률 용어가 포함된 공격을 성공적으로 차단한 사례가 그림 1에 제시돼 있다.

강점으로는 (1) 도메인‑특화 용어 마이닝을 자동화해 대규모 데이터 구축 비용을 크게 낮춘 점, (2) 전문가 검증을 통한 고품질 테스트셋 제공, (3) 공개된 코드·데이터·모델로 재현성과 확장성을 확보한 점을 들 수 있다. 반면 한계점은 (1) 현재는 금융·의료·법률 3개 도메인에만 초점을 맞추어 다른 분야(예: 제조, 교육)에는 바로 적용하기 어려움, (2) 데이터 생성에 GPT‑4o 의존도가 높아 모델 버전 변화에 따라 데이터 품질이 변동될 가능성, (3) 모델 아키텍처와 학습 세부 설정이 논문에 상세히 기술되지 않아 정확한 재현이 다소 어려울 수 있다는 점이다.

향후 연구 방향으로는 (①) 도메인‑특화 어텐션 레이어나 메타‑학습을 도입해 새로운 분야에 빠르게 적응하도록 하는 방법, (②) 인간‑LLM 협업을 통한 지속적인 데이터 업데이트 파이프라인 구축, (③) 정책‑중립적인 다중‑언어 확장 등을 제시한다. 전반적으로 ExpGuard는 “전문 분야 안전 가드레일”이라는 새로운 연구 패러다임을 제시하며, LLM 실무 적용 시 도메인‑특화 위험을 관리하는 실질적 도구로 자리매김할 가능성이 크다.