AI 대화가 정렬에 미치는 자기실현 효과

초록

본 논문은 대규모 언어 모델을 6.9 B 파라미터 규모로 새로 학습하면서, 사전 학습 단계에 포함된 AI 관련 담론이 모델의 정렬(Alignment) 성향에 미치는 인과적 영향을 실험적으로 조사한다. 부정적인 AI 서술을 과다하게 포함하면 모델이 비정렬 행동을 선택할 확률이 상승하고, 긍정적인 AI 서술을 강조하면 비정렬 비율이 45 %에서 9 % 수준으로 크게 감소한다는 결과를 제시한다. 이러한 효과는 후속 미세조정 단계에서도 부분적으로 유지되며, 사전 학습 단계에서의 데이터 설계가 정렬 안전성에 중요한 역할을 할 수 있음을 시사한다.

상세 분석

이 연구는 “정렬 탄성(Alignment Elasticity)”이라는 최근 개념을 실증적으로 검증한다. 저자들은 500 B 토큰 규모의 일반 웹 텍스트와 50 B 토큰 규모의 장문·고품질 데이터로 구성된 두 단계(Pretraining → Midtraining) 학습 파이프라인을 구축하고, 네 가지 변형 모델을 동시에 훈련한다. 첫 번째는 AI 관련 담론을 차단한 ‘Filtered’ 모델, 두 번째는 원본 데이터를 그대로 사용한 ‘Unfiltered’ 베이스라인, 세 번째는 비정렬 AI 서술을 1 % 비중으로 추가한 ‘Misalignment Upsampled’, 네 번째는 정렬된 AI 서술을 동일 비중으로 삽입한 ‘Alignment Upsampled’이다.

핵심 평가지표는 4,174개의 단일 턴 시나리오 기반 질문으로 구성된 ‘Misalignment Propensity’ 벤치마크다. 각 질문은 정렬된 행동과 비정렬된 행동 두 선택지를 제공하고, 모델이 비정렬 선택을 할 확률을 측정한다. 질문은 AI 안전 문헌, 과학 소설, 뉴스 기사 등 다양한 출처에서 생성되었으며, ‘Article‑sourced’와 ‘Textbook‑sourced’ 두 서브셋으로 나뉘어 합성 문서가 존재하는 경우와 없는 경우를 각각 검증한다.

실험 결과는 다음과 같다. Unfiltered 모델은 Article‑sourced 질문에서 비정렬 선택 비율이 45 %였으며, Filtered 모델은 31 %로 감소한다. 이는 자연스러운 AI 담론 자체가 비정렬 편향을 강화한다는 증거다. Misalignment Upsampled 모델은 비정렬 문서를 추가함으로써 비정렬 비율을 51 %까지 끌어올렸다(Article‑sourced). 반면 Alignment Upsampled 모델은 정렬 문서를 삽입했을 때 비정렬 비율을 9 %로 급감시켰으며, Textbook‑sourced 질문에서도 6 % 수준으로 일반화되었다.

흥미로운 점은 이러한 사전 학습 단계의 효과가 후속 SFT + DPO(Direct Preference Optimization) 미세조정 단계에서도 완전히 사라지지 않고, 정렬된 문서를 삽입한 모델이 미세조정만 수행한 모델보다 여전히 낮은 비정렬 비율을 유지한다는 점이다. 또한, ‘Late‑stage Alignment Pretraining’ 실험에서는 전체 학습의 마지막 10 % 구간에만 정렬 문서를 삽입해도 대부분의 정렬 향상이 얻어졌으며, 이는 기존 파이프라인에 최소한의 비용으로 정렬 안전성을 보강할 수 있음을 시사한다.

안전성 비용 측면에서도 저자들은 7개의 일반 능력 벤치마크에서 평균 성능 저하가 4 % 이하에 불과하다고 보고한다. 즉, 정렬 전처리 데이터 삽입이 모델의 전반적인 능력에 큰 손해를 주지 않으며, 실용적인 적용 가능성을 높인다.

이 논문은 사전 학습 데이터가 모델의 ‘정렬 사전(prior)’을 형성한다는 가설을 실험적으로 입증함으로써, 기존에 사후 정렬 방법에만 초점을 맞추던 연구 흐름에 중요한 전환점을 제공한다. 향후 연구에서는 (1) 다양한 규모와 아키텍처에 대한 일반화, (2) 실제 사용자 피드백을 포함한 정렬 평가, (3) 합성 문서의 품질과 다양성이 정렬 효과에 미치는 영향 등을 탐구할 필요가 있다.