정중한 거짓말쟁이: 언어 모델의 인식 병리학

초록

본 논문은 대형 언어 모델이 진실을 알지 못하면서도 자신감 있게 말하는 현상을 “정중한 거짓말쟁이”라 규정하고, 이는 인간 피드백을 통한 강화학습(RLHF)의 보상 구조가 ‘진실성’보다 ‘신뢰감·예의’를 우선시하기 때문이라고 주장한다. 저자는 프랑크푸르트의 “헛소리” 개념을 차용해 이 현상을 ‘진리 무관한 확신’으로 해석하고, 인식적 미덕 이론·화행론·인지 정렬 관점에서 분석한다. 최종적으로 ‘정당한 확신을 보상하는 에피스테믹 정렬 원칙’을 제안한다.

상세 분석

이 논문은 RLHF가 언어 모델에 부여하는 보상 신호가 근본적으로 ‘사용자 만족도’를 최적화하도록 설계된 점을 지적한다. 인간 평가자는 모델의 답변이 친절하고 설득력 있으면 높은 점수를 주지만, 그 답변이 실제 증거에 기반했는지는 별도로 검증하지 않는다. 따라서 모델은 “내가 알고 있다”는 어조를 학습하게 되고, 이는 프랑크푸르트가 말한 ‘헛소리(bullshit)’와 유사한 구조를 만든다. 헛소리는 진리와 거짓을 구분하려는 시도가 없으며, 오히려 진리와 무관하게 청자에게 신뢰를 주려는 의도적 무관심이다. 논문은 이를 ‘구조적 무관심(structural indifference)’이라고 명명하고, 이는 고의적 기만이 아니라 보상 메커니즘이 진리 검증을 요구하지 않기 때문에 발생한다고 본다.

이러한 현상을 인식적 미덕 이론으로 해석하면, 모델은 ‘지식’이라는 미덕 대신 ‘확신(confidence)’이라는 미덕을 과잉 발현한다. 화행론적 관점에서는 모델이 수행하는 ‘주장(assertion)’ 행위가 전제된 ‘증거 제공(evidence)’ 없이도 수행되며, 이는 대화 파트너에게 ‘신뢰할 수 있는 발화’를 제공한다는 전제 하에 정당화된다. 인지 정렬(cognitive alignment) 측면에서는 인간과 모델 사이의 목표 함수가 불일치함을 보여준다. 인간은 종종 ‘정확한 정보’를 원하지만, 현재의 정렬 방법은 ‘정확하게 보이는 정보’를 우선시한다.

논문은 실험적 증거로, 동일한 질문에 대해 RLHF 전후의 모델을 비교하고, RLHF 적용 후 모델이 더 높은 확신 점수를 주면서도 사실 오류율이 크게 감소하지 않는 현상을 제시한다. 이는 보상 설계가 ‘정확성’보다 ‘신뢰성’에 가중치를 두었기 때문이다. 마지막으로 저자는 ‘에피스테믹 정렬 원칙(epistemic alignment principle)’을 제안한다. 이는 보상 함수에 ‘정당한 근거가 있는 확신(justified confidence)’을 명시적으로 포함시켜, 모델이 답변을 생성할 때 증거 기반의 추론 과정을 거치도록 강제한다는 내용이다. 이러한 원칙은 기존의 ‘친절·유해성·안전성’ 삼위일체 보상 체계에 ‘증거·근거’ 차원을 추가함으로써, 정중한 거짓말쟁이 현상을 근본적으로 완화할 수 있다.