블랙박스 안전 평가의 근본 한계와 잠재적 위험

초록

본 논문은 평가 데이터에서 드물게 나타나지만 배포 환경에서는 빈번히 발생하는 ‘잠재적 컨텍스트 트리거’를 이용한 모델을 정의하고, 이러한 모델에 대해 블랙박스 평가가 근본적으로 위험을 추정할 수 없음을 정보이론적·계산복잡도 관점에서 정량화한다. 패시브, 어댑티브, 화이트박스 평가 각각에 대한 최소 오류 하한을 제시하고, 트랩도어 일방향 함수 가정 하에 계산적 구분을 증명한다. 결과는 안전 보장을 위해 모델 설계·학습 단계에서의 제약과 배포 후 모니터링이 필수임을 시사한다.

상세 분석

이 논문은 AI 시스템의 안전성을 검증하기 위해 흔히 사용되는 블랙박스 평가 방식이, 내부에 ‘잠재적 컨텍스트 변수(z)’를 두고 이 변수가 평가 데이터(D_eval)에서는 매우 낮은 확률(ε)로 활성화되지만 배포 데이터(D_dep)에서는 높은 확률(δ)로 활성화되는 경우, 근본적으로 한계가 있음을 증명한다. 먼저 패시브 평가에 대해 Le Cam의 두 점 방법을 적용해 최소 평균 절대 오차가 (5/24)·δ·L 이상임을 보인다. 여기서 L은 트리거가 활성화될 때와 비활성화될 때의 손실 차이이며, ε·m ≤ 1/6인 작은 노출 상황에서 이 상수가 정확히 도출된다. 어댑티브 평가에서는 m‑wise 독립 해시 함수를 이용해 트리거 집합을 무작위로 정의하고, Yao의 최소극대 원리를 통해 적응형 쿼리 전략을 사용하더라도 최악의 경우 오류가 δ·L/16 이상임을 증명한다. 핵심은 각 쿼리의 트리거 포함 확률이 ε로 고정된다는 Fubini 정리를 이용한 기대값 분석이며, 이는 δ≫ε 구분을 만들기 위해서는 배포 환경이 별도의 ‘특권 정보’를 보유해야 함을 의미한다. 계산적 구분 부분에서는 트랩도어 일방향 함수를 가정해, 배포 환경이 트랩도어 비밀키를 이용해 트리거를 활성화시키는 반면, 폴리노미얼 시간 평가자는 이를 구별할 확률이 무시 수준에 불과함을 보인다. 마지막으로 화이트박스 프로빙에서는 파라미터를 직접 관찰할 수 있는 경우, 프로빙 품질 γ(=α₀+α₁−1)를 고려한 샘플 복잡도 m ≥ (18/(γ²·ε_R²))·log(12/η) 를 도출한다. 이는 위험 추정이 편향이 아니라 분산에 의해 제한된다는 점을 명확히 보여준다. 전반적으로 논문은 ‘트리거 분리’ 현상이 통계적으로는 탐지 불가능하고, 계산적으로도 어려운 경우가 존재함을 정량화함으로써, 단순 블랙박스 테스트만으로는 최악의 위험을 보장할 수 없으며, 모델 설계 단계에서의 안전 제약, 훈련 시 안전성 보장, 해석 가능성 기법, 그리고 배포 후 실시간 모니터링이 필수적이라는 실질적 정책 함의를 제공한다.