명목 라벨과 실제 능력 불일치: LoRA 어댑터의 교차 작업 진단

초록

본 논문은 LoRA 어댑터를 “instruction‑tuned” 등 명목 라벨에 따라 선택하는 관행이 실제 교차 작업 성능 향상과 일치하지 않을 수 있음을 실험적으로 보여준다. 특히 자동 검증 가능한 IFEval 지표를 기준으로, 명목 라벨이 항상 verifiable instruction‑following 성능을 개선하지 않으며, 경우에 따라 숫자 추론 벤치마크에서는 크게 향상되지만 IFEval에서는 오히려 감소한다는 ‘capability drift’ 현상을 규명한다. 다중 시드·모델·설정에 걸친 견고성 실험과 drift score라는 요약 지표를 제시하며, 배포 전 교차 작업 평가의 필요성을 강조한다.

상세 분석

이 연구는 LoRA 어댑터의 명목 훈련 목표(예: instruction‑tuned, numeric‑reasoning‑tuned)가 실제로 다른 작업에서 어떤 성능 변화를 일으키는지를 체계적으로 진단한다. 핵심 평가지표는 자동으로 검증 가능한 IFEval(Instruction‑Following Evaluation)이며, 여기서는 instruction‑level accuracy(ILA)와 prompt‑level accuracy(PLA)를 사용한다. 논문은 먼저 “drift score”라는 간단한 수식을 정의한다. TargetGain은 어댑터가 명목 목표 작업에서 얻는 성능 향상, OffTargetGain은 다른 작업(예: NM 기반 숫자 추론)에서의 향상이다. DriftScore = OffTargetGain − TargetGain으로, 양수이면 오프‑타깃 이득이 목표 이득을 초과함을 의미한다.

실험은 Qwen‑3‑8B, Qwen‑3‑14B, LLaMA‑3‑8B 등 여러 베이스 모델에 동일한 LoRA 설정(r16_attnmlp, r8_attnmlp 등)을 적용하고, 5개 시드에 걸쳐 반복한다. 결과는 표 2와 그림 2에 요약되는데, 대부분의 경우 drift score가 양수이며 평균 0.5 ~ 0.7 수준이다. 다만 하나의 모델·설정 조합에서는 -0.04와 같은 거의 영에 가까운 혹은 약간의 음수 drift가 관찰되어, 현상이 설정에 민감함을 보여준다.

가장 눈에 띄는 사례는 표 1에 제시된 “instruction‑tuned” 어댑터이다. 이 어댑터는 NM 점수가 0.133에서 0.632로 크게 상승했지만, IFEval PLA는 0.250에서 0.143으로 감소한다. 즉, 명목상 “instruction‑tuned”가 실제로는 숫자 추론 능력을 크게 강화했지만, 자동 검증 가능한 지시 따름 능력은 오히려 악화된 것이다. 반면 “numeric‑reasoning‑tuned” 어댑터는 목표 작업(NM)에서도 일정 수준 향상을 보이며, IFEval에서는 큰 변화를 보이지 않는다.

논문은 또한 추가적인 IFEval 변형(FollowBench, IFBench)에서 일관된 결과를 얻었으며, 이들 벤치마크가 서로 다른 “instruction following” 정의를 사용한다는 점을 강조한다. 따라서 “instruction following”이라는 하나의 개념에 대한 일반화는 위험하다고 경고한다.

마지막으로, IFEval 내부 카테고리·타입별 변화를 분석한 결과, 일부 언어 제약(category)과 키워드 존재(type)에서 큰 성능 저하가 관찰되었고, 반대로 구두점 사용 등에서는 소폭 개선이 있었다. 이는 어댑터가 특정 제약에 대해 선택적으로 학습하거나 손실을 겪는다는 가설을 뒷받침한다. 전체적으로, 논문은 명목 라벨에 의존한 모델 선택이 위험할 수 있음을 실증적으로 입증하고, 배포 전 교차 작업 평가를 필수적인 절차로 제안한다.