독성 프롬프트 탐색의 다양성 확대를 위한 종 기반 품질‑다양성 기법

초록

본 논문은 기존 진화적 프롬프트 탐색이 하나의 고성능 프롬프트에 수렴하는 문제를 해결하고자, ToxSearch에 종(speciation) 메커니즘을 도입한 ToxSearch‑S를 제안한다. 온라인 리더‑팔로워 클러스터링과 용량 제한 종 관리, 보류 풀을 활용한 신흥 니치 보존, 그리고 종‑인식 부모 선택을 통해 다수의 고독성 프롬프트 니치를 동시에 유지한다. 실험 결과, 피크 독성(≈0.73)과 상위 10% 중위값(≈0.66)이 기존(≈0.47, ≈0.45)보다 크게 향상되었으며, 주제 다양성 지표(N₁, K)와 임베딩 공간에서의 종 간 평균 분리 비율(≈1.93) 역시 개선되었다. 이는 종 분할이 단순 어휘 변형이 아니라 행동적으로 구분된 공격 전략을 포착함을 의미한다.

상세 분석

ToxSearch‑S는 전통적인 (μ+λ) 진화 루프를 기반으로 하면서, “품질‑다양성(QD)” 프레임워크를 명시적으로 구현한다. 핵심은 프롬프트를 실시간으로 두 가지 거리(시멘틱 코사인 거리와 독성 점수 벡터의 유클리드 거리)를 가중합한 ensemble distance를 이용해 종을 정의하고, 각 종은 용량 제한(capacity‑limited) 리더(최고 독성 프롬프트)와 팔로워들로 구성된다. 새로운 프롬프트가 평가되면, 리더와의 거리와 기존 종의 용량을 고려해 가장 가까운 종에 할당하거나, 기존 종과 충분히 차이가 날 경우 보류 풀(reserve pool)에 저장한다. 보류 풀은 초기에는 잡음이나 신흥 니치를 보관하고, 일정 세대 동안 성능이 향상되지 않으면 새로운 종으로 승격된다.

종‑인식 부모 선택은 exploration‑exploitation trade‑off를 정량화한다. 기본 ToxSearch와 동일하게 최근 세대의 평균 독성 변화(β̂₁)와 최고 독성(f*₍g₎)를 모니터링하고, β̂₁이 급격히 감소하거나 f*₍g₎가 일정 임계값 이하일 때는 탐색 모드로 전환한다. 이때 부모는 서로 다른 종에서 샘플링되어 교차‑종 교배가 촉진된다. 반대로 안정적인 상승세가 감지되면 동일 종 내에서 부모를 선택해 지역 최적화를 가속한다.

품질은 각 종의 리더가 달성한 독성 점수로 정의되며, 다양성은 종 리더 간의 평균 ensemble distance(D_inter)로 측정한다. 논문은 D_inter이 1.93에 달함을 보고했는데, 이는 종 간 임베딩이 거의 두 배 정도 떨어져 있음을 의미한다. 또한, topic‑as‑species 분석을 통해 각 종이 서로 다른 주제(예: 정치, 성, 인종 등)와 연관된 프롬프트 집합을 형성한다는 사실을 확인했다. 이는 단순히 어휘 변형이 아니라, LLM의 안전 필터를 우회하는 행동적 전략이 종마다 다름을 시사한다.

실험 설정은 GPT‑3.5‑Turbo를 목표 모델로, Perspective API를 독성 오라클로 사용했으며, 10,000세대 동안 500개의 프롬프트를 동시에 진화시켰다. 결과는 기존 ToxSearch가 평균 독성 0.47, 피크 0.73에 도달한 반면, ToxSearch‑S는 평균 0.55, 피크 0.73을 기록했고, 특히 상위 10% 프롬프트의 중위값이 0.66으로 크게 상승했다. 중간 독성 구간(0.3~0.5)에서는 두 방법 간 차이가 미미했으며, 이는 종 분할이 극단적 독성 탐색에만 유리하고 일반 성능을 해치지 않음을 보여준다.

이러한 설계는 다중 니치 유지라는 자연 선택 원리를 알고리즘에 도입함으로써, 기존 진화 기반 레드팀 기법이 놓치기 쉬운 희소하고 위험한 공격 벡터를 발굴한다는 점에서 의의가 크다. 또한, 종 관리 메커니즘(용량 제한, 보류 풀, 동적 병합)은 메모리와 연산 비용을 크게 늘리지 않으면서도 QD 목표를 달성한다는 실용적 장점을 제공한다.