고차원 오프라인 밴딧 알고리즘의 효율적 적대적 공격

초록

본 연구는 생성형 AI 모델 평가에 사용되는 오프라인 밴딧 알고리즘의 새로운 취약점을 발견합니다. 공격자는 공개된 보상 모델의 가중치에 미세한 변화를 가해, 밴딧이 최적의 선택을 하지 못하도록 조작할 수 있습니다. 특히 고차원 데이터(예: 이미지) 환경에서 공격이 훨씬 쉽게 이루어지며, 이론적 분석과 실제 Hugging Face 평가기 실험을 통해 그 효율성을 입증합니다.

상세 분석

이 논문은 오프라인 밴딧 평가의 보안 허점을 정밀하게 분석합니다. 핵심은 ‘보상 모델’ 자체를 표적으로 삼는 새로운 위협 모델입니다. 기존 연구가 온라인 학습 중의 데이터 변조에 집중했다면, 본 연구는 학습 전 공개된 보상 모델(예: Hugging Face의 미학 점수, 구성 정렬 평가기)의 파라미터를 미세하게 변경하는 공격을 제시합니다.

기술적 통찰은 다음과 같습니다. 첫째, 선형 보상 함수에서 공격은 2차 계획법(QP) 문제로 정형화되며, 고차원일수록 성공에 필요한 최소 교란 노름이 감소합니다. 이는 차원의 저주가 아닌 ‘차원의 축복’으로 작용하는 역설적 현상으로, 이미지와 같은 고차원 데이터 평가가 특히 취약함을 의미합니다. 둘째, 이 현상은 ReLU 신경망과 같은 비선형 모델로도 확장됩니다. 넓은 은닉층을 가진 신경망은 신경망 접선 커널 이론에 따라 선형적으로 행동하므로, 선형 근사를 통한 효율적 공격이 가능해집니다.

저자들은 전체 공격 경로를 조작하는 ‘Full-Trajectory Attack’, 최적의 팔 선택만 방해하는 ‘Trajectory-Free Attack’, 그리고 실시간으로 제약을 추가하는 효율적 휴리스틱 ‘OSA(Online Score-Aware) Attack’을 설계했습니다. OSA 공격은 계산 비용을 크게 줄이면서도 거의 완벽한 공격 성공률을 유지합니다. UCB, ETC, ε-greedy 등 다양한 밴딧 알고리즘에 대한 실험을 통해 방법론의 일반성을 입증했으며, 간단한 방어 메커니즘을 제안하여 향후 보안 연구의 방향을 제시합니다.