데이터 속 숨은 효과 로그선형성을 통한 일반 메커니즘

초록

본 논문은 대규모 언어 모델(LLM) 학습 시 데이터에 내재된 ‘잠재적’ 신호가 모델 행동에 미치는 메커니즘을 규명한다. 저자들은 로그‑선형성(log‑linearity)이라는 수학적 추상을 기반으로, 선호 데이터에서 특정 시스템 프롬프트와의 로그‑우도 차이를 이용해 가중치를 부여하고, 상위 가중치 샘플만을 추출하는 Logit‑Linear Selection(LLS) 방법을 제안한다. LLS로 선택된 서브셋을 이용해 파인튜닝하면, 모델은 명시적인 시스템 프롬프트 없이도 목표 행동(특정 언어 사용, 특정 선호, 페르소나 변화 등)을 보인다. 실험은 다양한 모델·아키텍처에 걸쳐 일관된 효과를 확인했으며, 데이터 선택 단계에서 작은 상관관계가 누적되어 큰 ‘잠재적’ 효과를 만든다는 중요한 안전·윤리적 함의를 제시한다.

상세 분석

이 논문은 최근 LLM에서 관찰되는 ‘잠재적(subliminal)’ 효과를 설명하기 위해 로그‑선형성이라는 새로운 이론적 프레임워크를 도입한다. 로그‑선형성은 모델의 출력 로그 확률이 시스템 프롬프트와 입력‑응답 쌍의 임베딩 내적 형태로 근사될 수 있다는 가정이며, 이는 저차원 선형 구조가 존재한다는 저역 로그‑랭크(low‑logit‑rank) 현상과 직접 연결된다. 이러한 가정 하에, 저자들은 특정 시스템 프롬프트 s가 주어졌을 때 모델이 선호하는 응답 r⁺와 비선호 응답 r⁻ 사이의 로그‑우도 차이 Δ_i = log Pr_M