비교적 설명으로 보는 대형 언어 모델 행동 변이

초록

본 논문은 대형 언어 모델(LLM)의 스케일링·파인튜닝·RLHF·프롬프트 등 다양한 개입 후 나타나는 행동 변이를 “비교 XAI(Δ‑XAI)” 관점에서 설명하고자 한다. 행동 변이를 단일 체크포인트가 아닌 사전·사후 모델 간 차이로 정의하고, 이를 탐지·해석하기 위한 desiderata와 구체적 파이프라인을 제시한다. 실험에서는 의료 조언 시나리오를 통해 Δ‑XAI가 기존 XAI보다 변화 원인을 명확히 드러냄을 보인다.

상세 분석

이 논문은 최근 LLM에서 보고되는 ‘emergent ability’와 ‘emergent misalignment’ 현상이 단순히 관찰된 결과에 머무르지 않고, 그 원인과 메커니즘을 규명해야 한다는 점을 강조한다. 기존 XAI 기법은 모델 하나의 입력‑출력 관계 혹은 내부 표현을 설명하는 데 초점을 맞추지만, 체크포인트 간 변화 자체를 설명하는 구조적 한계가 있다. 저자들은 이를 극복하기 위해 “비교적 XAI(Δ‑XAI)” 프레임워크를 제안한다. 핵심 아이디어는 (1) 행동(b)을 정량화하는 메트릭 B를 정의하고, 연속된 체크포인트 M₀…M_T 사이에서 ΔB가 사전 정의된 임계값 ε_B를 초과하면 ‘행동 변이’가 발생했다고 판단한다. (2) 변이가 감지되면 사전 모델(M_pre)과 사후 모델(M_post)을 각각 블랙박스로 취급하되, 가능한 내부 접근성을 활용해 동일 조건 하에 동일 explainer Φ를 적용한다. (3) 두 explainer 결과 e_pre, e_post을 비교하는 비교 explainer Φ_Δ를 통해 차이(e_Δ)를 도출한다. 이 과정은 기존 XAI가 제공하는 ‘정적 설명’이 아니라 ‘변화 중심 설명’으로 전환한다는 점에서 혁신적이다.

논문은 Δ‑XAI 설계 시 고려해야 할 네 가지 desiderata를 제시한다. 첫째, 정확성(Accuracy) – 변화가 실제 모델 파라미터·구조 변화와 일치해야 함; 둘째, 해석 가능성(Interpretability) – 도출된 차이 설명이 인간 전문가가 이해 가능한 형태(예: 토큰 중요도 변화, 개념 활성도 이동)이어야 함; 셋째, 견고성(Robustness) – 입력 노이즈나 샘플링 변동에 민감하지 않아야 하며, 동일 변이를 재현 가능해야 함; 넷째, 행동 연관성(Causality) – 설명이 행동 메트릭 B와 직접적인 인과 관계를 가질 필요가 있다. 이러한 기준은 기존 XAI 기법을 그대로 적용할 경우 충족되지 않을 가능성이 높으며, 따라서 Δ‑XAI는 새로운 알고리즘 설계와 평가 프로토콜을 요구한다.

구현 파이프라인으로는 (a) 행동 메트릭 선정·임계값 설정, (b) 동일 입력 집합에 대한 사전·사후 모델의 출력 수집, (c) 선택된 explainer(예: Integrated Gradients, CAV, activation patching 등) 적용, (d) 차이 분석을 위한 Φ_Δ 설계, (e) 결과를 정량·정성적으로 평가하는 단계가 제시된다. 저자들은 의료 조언 시나리오를 실험 사례로 사용한다. 사전 모델은 80%의 즉시 의료 조치를 권고했으나, 프롬프트 기반 단계별 추론을 적용한 사후 모델은 이 비율이 20%로 급락한다. Δ‑XAI는 토큰 수준에서 “증상 경감” 관련 단어의 중요도가 상승하고 “응급 신호” 단어의 중요도가 감소한 것을 포착함으로써, 왜 행동이 변했는지를 명확히 설명한다. 이는 기존 XAI가 사후 모델만을 분석했을 때 놓치기 쉬운 비교 정보를 제공한다는 점에서 실용적 가치를 입증한다.

전반적으로 이 논문은 LLM의 안전성·신뢰성 확보를 위해 ‘변화’를 중심으로 한 설명 체계를 제안함으로써, 모델 업데이트 후 발생할 수 있는 위험을 사전에 진단하고 대응할 수 있는 방법론적 기반을 마련한다는 점에서 학술적·산업적 의의가 크다.