AI 안전 벤치마크, 어떻게 측정해야 할까

초록

이 논문은 210개의 AI 안전 벤치마크를 체계적으로 분석하고, 현재 벤치마크가 위험 범위, 확률적 정량화, 측정 타당성 측면에서 갖는 한계를 지적한다. 위험의 알려진‑미알려진 구분, 확률 기반 위험 평가, 측정 이론 적용을 통해 10가지 구체적 권고(R1‑R10)를 제시하고, 체크리스트와 사례 연구로 실효성을 검증한다.

상세 분석

논문은 먼저 AI 안전 벤치마크가 전통적인 성능 벤치마크와 달리 규범적·사회기술적 목표를 가진다는 점을 강조한다. 이를 위해 위험 공학에서 사용되는 두 단계 위험 측정 모델—규범적 가치와 물리적 현상의 연결, 그리고 확률 이론을 통한 불확실성 정량화—을 AI 안전에 적용한다. 210개의 벤치마크를 Rumsfeld 매트릭스(known‑known, known‑unknown, unknown‑known, unknown‑unknown)로 분류한 결과, known‑known이 81%로 압도적이며, unknown‑unknown은 1%에 불과해 위험 탐색의 편향을 드러낸다.

위험 정량화 측면에서는 79%가 이진 통과/실패 점수를 사용해 실제 위험 확률을 과대평가하거나 심각도와 연계하지 못한다는 비판을 제시한다. 저자는 위험을 “심각도 × 발생 가능성” 형태의 확률적 위험 지표로 전환하고, 벤치마크 결과를 실제 노출(exposure)과 매핑해 교정할 것을 권고한다(R4‑R6).

측정 타당성에서는 프록시 체인(예: 거부율 → 실제 해악)에서 발생하는 구성 타당성 붕괴를 지적한다. 측정 이론에 따라 투명한 구성 정의, 버전 관리, 배포 환경과의 정합성 확보, 커뮤니티 피드백을 통한 반복 개선을 제안한다(R7‑R10).

구체적 권고는 다음과 같다. R1은 위험 범위의 블라인드 스팟을 명시하도록 요구하고, R2는 자동 퍼징·자기 진화 프롬프트 등 개방형 탐색 기법을 도입한다. R3은 기존 머신러닝 현상(분포 이동, OOD 탐지 등)을 안전 위험으로 재프레이밍한다. R4‑R6은 벤치마크 빈도와 실제 사용량을 정규화하고, 국제 표준(ISO 14971, IEC 61508) 기반 심각도 스케일을 도입한다. R7‑R10은 측정 표준화, 데이터셋·코드 잠금·버전 관리, 실제 배포 시나리오와의 정합성 검증, 그리고 공개된 커뮤니티 기여 플랫폼을 통한 지속적 개선을 강조한다.

논문 부록에는 체크리스트와 정량·정성 평가 결과가 포함되어, 제안된 권고가 벤치마크 신뢰성을 평균 27% 향상시키고, 위험 예측 오류를 15% 감소시킴을 실증한다.