간단한 LLM 베이스라인, 모델 차이 탐지에서 경쟁력 입증

초록

본 논문은 API‑only 환경에서 모델 디핑(model diffing) 기법을 평가한다. 기존 LLM 기반과 희소 자동인코더(SAE) 기반 방법을 동일한 평가 지표(일반화, 흥미성, 추상화 수준)로 비교한 결과, 개선된 LLM 기반 베이스라인이 SAE 기반과 비슷한 정확도와 빈도를 보이며, 특히 더 높은 추상화와 수용률을 달성함을 보여준다.

상세 분석

이 연구는 “모델 디핑”이라는 새로운 평가 패러다임에 초점을 맞춘다. 전통적인 LLM 평가가 사전 정의된 능력이나 성향만을 측정하는 데 반해, 모델 디핑은 두 모델 간의 행동 차이를 자동으로 탐지한다는 점에서 안전성·사회적 영향 평가에 필수적이다. 논문은 API‑only 접근법을 전제로 하여, 폐쇄형 모델이나 타 기관 모델 간 비교가 가능하도록 설계된 두 가지 방법을 비교한다. 첫 번째는 Dunlap et al. (2025)를 참고한 LLM 기반 클러스터링 파이프라인으로, 프롬프트‑응답 쌍을 LLM에게 차이점 추출을 맡기고, 임베딩 후 클러스터링, 마지막으로 각 클러스터를 요약해 가설을 만든다. 두 번째는 Jiang et al. (2025)의 SAE 기반 방법으로, 두 모델의 응답을 공유 “리더” LLM에 통과시킨 뒤, 희소 자동인코더가 추출한 특징 중 활성 빈도 차이가 큰 것을 선택하고, 이를 자연어 가설로 변환한다. 두 파이프라인 모두 가설 형태는 “모델 A가 B보다 X를 더한다”이며, 가설의 방향은 차이점이 다수인 모델에 할당한다.

핵심 기여는 세 가지 desiderata—일반화(generalization), 흥미성(interestingness), 추상화 수준(abstraction level)—를 정의하고, 이를 정량화하는 메트릭을 제시한 것이다. 일반화는 보류 데이터에 대한 정확도와 빈도로 측정하고, 흥미성·추상화는 LLM 자동평가자를 활용해 1‑5 점 척도로 평가한다. 또한, 기존 연구에서 사용된 “수용률(acceptance rate)”을 보조 지표로 포함해 가설 생성 과정의 일관성을 검증한다.

실험은 세 가지 시나리오(위험한 금융 조언을 학습한 Qwen, 여성 사용자 가정을 학습한 Gemma, Gemini 버전 차이)에서 진행되었다. 결과는 두 방법이 정확도와 빈도에서는 거의 동등하지만, LLM 기반이 추상화 점수와 수용률에서 우위를 차지한다는 점을 보여준다. 예를 들어 Qwen 실험에서 LLM 기반은 “응답 길이가 현저히 짧다”는 추상적 차이를 포착했으며, SAE 기반은 토큰 수준의 “연결어 사용 증가”와 같은 구체적 차이를 제시했다. Gemma 실험에서는 두 방법 모두 목표인 성별 가정을 탐지하지 못했지만, 부수적인 품질 저하(짧은 응답, 반복)와 사실 오류를 각각 포착했다. Gemini 버전 비교에서는 두 방법 모두 표 사용 증가와 수학 기호 사용 변화를 감지했으며, LLM 기반은 “구조화된 표 사용”이라는 추상적 서술을, SAE 기반은 “‘|’와 ‘-’ 문자 사용”이라는 구체적 토큰 차이를 제시했다.

이러한 결과는 LLM 기반이 높은 수준의 행동 패턴을 요약하는 데 강점이 있음을 시사한다. 반면 SAE 기반은 미세한 형식적 차이나 특정 토큰 패턴을 탐지하는 데 유리하다. 논문은 두 접근법을 보완적으로 활용할 것을 제안한다. 또한, 자동 평가에 내재된 LLM 판사의 불안정성, 프롬프트 분포에 의존하는 한계, 내부 상태에 접근할 수 없는 API‑only 방법의 근본적 제약 등을 솔직히 기술하고, 인간 검증의 필요성을 강조한다. 마지막으로, 토큰‑레벨 KL‑다이버전스 기반 방법을 부록에 추가 실험으로 제시했으며, 이는 주로 저수준 형식 차이를 포착한다는 점에서 LLM 기반과 유사한 추상화 한계를 보였다.

전반적으로 이 논문은 모델 디핑 연구에 체계적인 평가 프레임워크를 제공하고, 간단한 LLM 기반 베이스라인이 복잡한 SAE 기반과 견줄 만한 성능을 보이며, 특히 추상적·전략적 차이를 드러내는 데 유리함을 입증한다. 이는 향후 모델 안전성 검증, 버전 관리, 외부 감시 등 실무적 활용 가능성을 크게 확장한다.