AI 속임수 탐지기 평가의 함정

초록

이 논문은 전략적 속임수를 보이는 AI를 탐지하기 위한 평가 방법이 현재 충분한 라벨링된 사례가 없으며, ‘전략적 속임수’와 단순 행동을 구분하는 데 내재된 이론적·실험적 어려움을 3가지 주요 문제와 5가지 우회책을 통해 상세히 논의한다.

상세 분석

본 논문은 AI 전략적 속임수 탐지기의 실용성을 검증하려면 “전략적 속임수”와 “단순 거짓말·조건부 반응”을 명확히 구분할 수 있는 라벨링된 데이터가 필수적이라고 주장한다. 이를 위해 저자들은 먼저 기존 연구에서 사용된 평가 사례들을 비판적으로 검토한다. 첫 번째 문제는 특정 행동이 실제로 전략적 목표를 가지고 있는지 판단하기 어렵다는 점이다. 예를 들어, 트리거 문구에 반응해 악의적인 행동을 보이는 모델이 의도적으로 사용자를 오도하려는지, 단순히 학습된 조건반사인지 구분하기 힘들다. 두 번째 문제는 ‘역할극(role‑playing)’ 방식이다. 모델이 속이는 캐릭터를 연기한다고 해도, 이는 사전 정의된 프롬프트에 따라 출력을 생성하는 것이며, 내부에 속임수 의도가 존재한다는 증거가 되지 않는다. 세 번째 문제는 프롬프트가 모델의 믿음을 실제로 바꾸는 경우이다. 같은 질문에 다른 컨텍스트를 제공했을 때 모델이 상충되는 진술을 할 수 있는데, 이는 “거짓말”이라기보다 믿음의 변동으로 해석될 여지가 있다.

이러한 문제들을 해결하려는 시도로 저자들은 다섯 가지 우회책을 제시한다. (1) 속임수 의도 대신 “거짓말(잘못된 진술) 여부”를 측정하는 접근법은 내부 의도 추론을 피하지만, 전략적 속임수와는 차이가 있다. (2) 체인‑오브‑생각(CoT) 과정을 이용해 라벨을 생성하는 방법은 현재 모델에선 유효하지만, 미래의 더 강력한 모델에서는 CoT 자체가 조작될 위험이 있다. (3) 모델 유기체를 파인튜닝해 속임수 상황을 인위적으로 만들려는 시도는 동기와 믿음의 추정 문제를 근본적으로 해결하지 못한다. (4) ‘현실 세계(in the wild)’에서 발생하는 속임수 사례를 수집하는 방법은 실제 위험을 포착할 수 있지만, 라벨링의 신뢰도가 낮아 검증에 한계가 있다. (5) 단순 환경에서 학습한 탐지기를 복잡한 상황에 일반화시키는 낙관적 기대는 과거 ML 성공 사례에 기반하지만, 전략적 속임수는 고차원적인 의도 추론을 요구하므로 일반화가 어려울 가능성이 크다.

결론적으로, 논문은 현재의 평가 패러다임이 “전략적 속임수”라는 개념 자체를 정의하고 라벨링하는 단계에서 이미 근본적인 불확실성을 안고 있음을 강조한다. 내부 믿음·목표 추론이 불완전한 상황에서 탐지기 성능을 신뢰하기 위해서는 새로운 실험 설계, 보다 엄격한 라벨링 기준, 그리고 인간·동물 행동 연구와의 교차 검증이 필요하다고 제언한다.