폭넓은 가중치 프루닝이 라마3점2의 지식과 정직성에 미치는 역설적 효과
📝 원문 정보
- Title:
- ArXiv ID: 2512.22671
- 발행일:
- 저자: Unknown
📝 초록 (Abstract)
GLU‑MLP 층의 구조적 폭 프루닝을 최대 절대 가중치(MAW) 기준으로 적용한 결과, 확장 비율을 낮출수록 모델의 파라메트릭 지식(MMLU, GSM8K)과 퍼플렉시티는 예측 가능한 수준으로 감소하지만, 명령 수행 능력은 크게 향상되고(IFEval에서 라마3점2‑1B와 3B 모델 각각 +46%~+75%), 다단계 추론(MUSR)은 견고하게 유지된다. 이는 프루닝이 전반적인 성능 저하를 초래한다는 기존 압축 연구의 가정에 도전한다. 7가지 확장 비율 구성을 다양한 벤치마크(사실 지식, 수학적 추론, 언어 이해, 명령 수행, 진실성)로 평가한 결과, 확장 비율이 인지 능력을 선택적으로 조절하는 핵심 구조적 파라미터임을 확인하였다. 특히 라마3B 모델에서는 사실 지식(MMLU)과 진실성 지표(TruthfulQA‑MC2) 사이에 강한 역상관(r = ‑0.864, p = 0.012)이 나타났으며, 지식이 감소할수록 모델이 오해를 구별하는 능력이 일관되게 향상되었다. 이 발견은 프루닝이 파라메트릭 지식을 감소시키는 동시에 행동 정렬을 보존·강화하는 선택적 필터 역할을 함을 시사한다.💡 논문 핵심 해설 (Deep Analysis)
본 연구는 최신 대규모 언어 모델인 라마3점2 시리즈에 대해 GLU‑MLP 레이어의 폭을 구조적으로 축소하는 ‘폭 프루닝’을 적용하고, 그 효과를 정량적으로 분석한 최초의 시도라 할 수 있다. 프루닝 기준으로 사용된 최대 절대 가중치(MAW) 기준은 각 뉴런의 가중치 절대값 중 가장 큰 값을 기준으로 중요도를 판단하는 단순하면서도 효과적인 방법이다. 이를 통해 모델의 전체 파라미터 수를 크게 줄이면서도 핵심 연산 흐름을 유지할 수 있었다.실험에서는 확장 비율(expansion ratio)을 7단계로 조절했으며, 각 단계마다 MMLU·GSM8K와 같은 파라메트릭 지식 평가, 퍼플렉시티, IFEval(명령 수행), MUSR(다단계 추론), TruthfulQA‑MC2(진실성) 등 다양한 벤치마크를 적용했다. 결과는 두 가지 뚜렷한 패턴을 보여준다. 첫째, 확장 비율이 낮아질수록 지식 기반 테스트 점수와 퍼플렉시티는 일관되게 감소한다. 이는 프루닝이 모델이 학습한 사실적 정보를 손실시키는 전형적인 현상과 일치한다. 둘째, 반대로 명령 수행 능력은 오히려 크게 향상된다. 특히 IFEval 점수는 46%에서 75%까지 상승했으며, 이는 모델이 ‘사용자 의도’를 더 잘 파악하고 적절히 응답하도록 유도되는 효과로 해석될 수 있다.
흥미로운 점은 진실성 지표와 사실 지식 사이에 강한 역상관이 존재한다는 것이다. 라마3B 모델에서는 MMLU 점수가 낮아질수록 TruthfulQA‑MC2 점수가 상승했으며, 통계적으로도 유의미한 상관관계(r = ‑0.864, p = 0.012)를 보였다. 이는 모델이 사실적 지식을 잃어가면서도, 잘못된 정보를 스스로 검증하거나 회피하는 ‘행동 정렬’ 측면이 강화된다는 의미다. 즉, 프루닝이 단순히 용량을 줄이는 것이 아니라, 모델의 내부 표현을 재구성해 ‘지식‑정직성’ 트레이드오프를 조정하는 선택적 필터 역할을 수행한다는 새로운 시각을 제공한다.
이러한 결과는 압축 연구에서 흔히 가정하는 ‘프루닝은 전반적인 성능 저하를 초래한다’는 전제에 중요한 반증을 제시한다. 특히 실용적인 응용 환경에서는 파라메트릭 지식보다는 명령 수행 정확도와 진실성이 더 중요한 경우가 많다. 따라서 확장 비율을 조절함으로써 모델을 목적에 맞게 맞춤형으로 최적화할 수 있는 새로운 설계 패러다임을 제시한다. 향후 연구에서는 MAW 외의 다른 중요도 기준, 프루닝 후 재학습 전략, 그리고 다양한 모델 아키텍처에 대한 일반화 가능성을 탐색함으로써, 선택적 프루닝이 어떻게 행동 정렬을 지속적으로 강화할 수 있는지에 대한 메커니즘을 밝히는 것이 필요하다.