모델 병합으로 3H 정렬 달성: 도움·정직·무해성 균형 맞추기

초록

본 논문은 대형 언어 모델(LLM)의 도움(Helpfulness), 정직(Honesty), 무해성(Harmlessness) 3가지 목표를 동시에 최적화하기 위한 방법으로, 기존 데이터 혼합 방식의 한계를 지적하고 파라미터 수준에서 충돌을 해결하는 모델 병합 기법을 체계적으로 비교한다. 특히, 선호 노이즈와 레이어별 희소성을 고려한 새로운 병합 알고리즘 RESM을 제안해, 기존 데이터 혼합(2‑5% 향상)·모델 병합(1‑3% 향상) 대비 더 큰 성능 향상을 입증한다.

상세 분석

이 연구는 3H(Helpfulness, Honesty, Harmlessness) 정렬이라는 다중 목표 최적화 문제를 ‘데이터‑레벨’ 접근과 ‘파라미터‑레벨’ 접근으로 구분하고, 두 접근법을 동일한 벤치마크에서 정량적으로 비교한다. 데이터 혼합은 전문가가 설계한 프롬프트·데이터 비율에 크게 의존하며, 서로 상충되는 목표가 동시에 존재할 때 파인튜닝 과정에서 손실이 발생한다는 점을 지적한다. 반면 모델 병합은 여러 개별 정렬 모델(예: 도움 전용, 정직 전용, 무해성 전용)의 파라미터를 통합함으로써 ‘Catastrophic Forgetting’을 방지하고, 파라미터 공간에서 직접 충돌을 해소한다는 장점이 있다.

논문은 기존 모델 병합 기법을 크게 네 가지 범주로 정리한다. (1) 선형 보간(Rewarded Soups, WARM, WARP) – 단순 가중 평균으로 파라미터를 섞는다. (2) Task‑Vector 기반 – 각 모델의 업데이트 방향(θ_i‑θ_0)을 직접 합산한다. (3) Subspace/Mask 기반 – 중요 파라미터를 마스크하거나 저차원 서브스페이스를 추출한다. (4) TSV(Task Singular Vector) 기반 – 레이어별 SVD를 수행해 저‑랭크 근사로 충돌을 최소화한다.

하지만 3H 정렬에서는 두 가지 새로운 문제가 등장한다. 첫째, ‘선호 노이즈 누적’이다. 여러 목표에 대해 각각 파인튜닝된 모델을 병합하면, 일부 파라미터 업데이트가 노이즈(특히 3σ 이상 이상치)로 작용해 실제 유용한 신호를 희석한다. 논문은 이를 해결하기 위해 각 레이어별로 3σ 규칙을 적용해 이상치를 가중치에서 제외하고, 남은 값에 L1 정규화된 α_i^l 가중치를 부여하는 ‘Outlier‑Aware Weighting’ 기법을 도입한다. 둘째, ‘고정 랭크 선택의 부적합성’이다. 기존 TSV 기반 방법은 모든 레이어에 동일한 top‑k 랭크를 적용하지만, 실제 LLM에서는 희소 어텐션 레이어와 밀집 Feed‑Forward 레이어가 서로 다른 파라미터 중요도와 희소성을 보인다. 저자는 레이어별 희소도 Ω_l을 측정하고, γ_0, γ 파라미터를 이용해 동적 k_l = γ_0 + γ·(1‑Ω_l) 로 조정하는 ‘Sparsity‑Aware Rank Selection’ 전략을 제안한다.

이 두 가지 개선을 통합한 RESM( Reweighting‑Enhanced Singular‑Vector Merging) 알고리즘은 다음 절차를 따른다. (1) 각 모델의 레이어별 Δ_i,l 를 계산하고 평균·표준편차를 구한다. (2) 3σ 기준으로 이상치를 마스크하고, 남은 값에 L1 정규화된 α_i^l 를 곱해 가중치를 재조정한다. (3) 레이어별 SVD를 수행하고, 동적 k_l 에 따라 상위 특이값을 선택한다. (4) 재가중된 특이값과 특이벡터를 원래 파라미터에 합산해 최종 병합 모델을 만든다.

실험은 두 종류의 LLM(예: LLaMA‑7B, LLaMA‑13B)과 10개의 선호 데이터셋(도움, 정직, 무해성 각각에 대해 3~4개)으로 구성된 3H 벤치마크에서 진행되었다. 비교 대상은 12개의 트레이닝‑프리 모델 병합 기법과 3개의 대표적인 데이터 혼합 기법이다. 결과는 RESM이 평균 3.2%p(Helpfulness), 2.8%p(Honesty), 3.5%p(Harmlessness) 향상을 달성했으며, 기존 최고 성능 모델 병합보다 1‑2%p, 데이터 혼합보다 3‑5%p 더 높은 균형 점수를 기록했다. 특히, 모델 수가 늘어날수록 선호 노이즈가 급격히 증가하는 현상을 RESM이 효과적으로 억제함을 보여준다.

한계점으로는 (i) RESM이 SVD와 통계적 필터링을 포함해 계산 비용이 다소 높으며, (ii) 레이어별 희소도 측정에 사용된 임계값 γ, γ_0 가 도메인에 따라 튜닝이 필요하다는 점을 언급한다. 향후 연구에서는 (a) 더 효율적인 근사 SVD, (b) 자동화된 γ 탐색, (c) 멀티‑모달 정렬에 대한 확장 등을 제시한다.

전반적으로 이 논문은 3H 정렬이라는 복합 목표를 다루는 데 있어 데이터 혼합이 갖는 근본적인 한계를 명확히 밝히고, 파라미터‑레벨 병합이 제공할 수 있는 구조적 이점을 체계적으로 검증한다. 특히, 노이즈 억제와 레이어 특성에 맞춘 동적 랭크 선택이라는 두 가지 핵심 아이디어는 향후 LLM 정렬 연구에 널리 적용될 가능성을 보여준다.