MoEEdit 효율적이고 라우팅 안정적인 지식 편집

초록

MoEEdit은 희소형 Mixture‑of‑Experts(모델)에서 지식 편집을 수행하기 위한 최초의 라우팅‑안정 프레임워크이다. 각 전문가별 널‑스페이스 투영을 통해 라우터 입력을 변형하지 않도록 제한하고, 블록 좌표 하강(BCD) 알고리즘으로 전문가별 업데이트를 효율적으로 최적화한다. 실험 결과, 기존 밀집형 편집 방법을 그대로 적용했을 때 발생하는 라우팅 변동과 높은 연산 비용을 크게 감소시키면서도 편집 정확도와 일반화 능력에서 최첨단을 기록한다.

상세 분석

본 논문은 최신 대형 언어 모델이 점점 더 많이 채택하고 있는 Mixture‑of‑Experts(MoE) 구조에 특화된 지식 편집(Knowledge Editing, KE) 방법론을 제시한다. 기존 KE 기법은 모든 파라미터가 입력마다 활성화되는 밀집형 트랜스포머를 전제로 설계돼, MoE와 같은 희소형 아키텍처에 그대로 적용하면 두 가지 치명적인 문제가 발생한다. 첫째, MoE는 라우터가 입력에 따라 소수의 전문가만 선택해 연산을 수행하므로, 모든 전문가를 동시에 업데이트하면 연산량이 전문가 수(N) 배만큼 폭증한다. 둘째, 전문가들의 출력이 라우터 가중치(g)로 가중합되는 구조 때문에, 하나의 전문가에 대한 파라미터 변동이 downstream 라우터 입력(u)을 바꾸어 라우팅 분포가 이동한다. 이는 라우팅 불안정성을 초래해 편집 후 모델이 원래의 전문가 선택 패턴을 유지하지 못하게 만든다.

MoEEdit은 이러한 문제를 두 단계로 해결한다. 1) 전문가별 널‑스페이스 투영: 보존 프롬프트 집합 P에서 추출한 키 행렬 K₀ⁿ을 이용해 각 전문가 n에 대해 공분산 K₀ⁿK₀ⁿᵀ의 저고유값(eigenvalue) 공간을 구한다. 이 공간에 대한 직교 투영 Pⁿ을 정의하고, 편집 파라미터 Δⁿ을 자유 변수 ˆΔⁿ와 Pⁿ의 곱으로 재파라미터화한다(Δⁿ = ˆΔⁿPⁿ). 이렇게 하면 보존 프롬프트에 대한 출력 변화가 수학적으로 0이 되므로, 라우터 입력 변화 δuℓ ≈ 0가 보장되고, 소프트맥스 라우터의 Jacobian Jₛₘ에 의해 증폭되는 라우팅 변동 δgℓ도 억제된다. 즉, 라우팅 안정성을 근본적으로 확보한다.

2. 무작위 블록 좌표 하강(BCD) 솔버: 널‑스페이스 투영 후의 목적함수는 전문가별 업데이트 ˆΔⁿ이 서로 독립적인 블록 구조를 가진다. 전체 시스템을 한 번에 닫힌 형태로 풀면 (N·dₖ)×(N·dₖ) 차원의 행렬을 역전해야 하는데, 이는 실용적이지 않다. 대신 MoEEdit은 각 반복에서 무작위로 선택된 전문가 블록을 고정하고, 해당 블록에 대한 최소제곱 문제를 정확히 풀어 업데이트한다. 이 과정은 전문가 숨김 차원 dₖ에만 선형적으로 스케일되며, 전체 전문가 수 N에 대한 의존성을 크게 감소시킨다. 또한, 라우팅 가중치 gᵢ,ₙ을 가중치로 사용해 실제 활성화된 전문가에만 영향을 주므로, 전문가 간 결합 문제도 자연스럽게 완화된다.

실험에서는 Qwen‑3‑30B‑A3B와 같은 30B 파라미터 규모의 MoE 모델에 MoEEdit을 적용했다. COUNTERFACT와 zsRE 벤치마크에서 기존 MEMIT, ROME 등 밀집형 편집 기법을 그대로 MoE에 적용한 경우 라우팅 변동(KL·RS)과 메모리 사용량이 급증했지만, MoEEdit은 라우팅 변동을 90% 이상 억제하고, GPU 메모리와 연산 시간을 35배 절감했다. 편집 성공률(Accuracy)과 보존성(Specificity)에서도 동일하거나 약간 상회하는 결과를 보였으며, 다중 연속 편집 시에도 누적 오류가 거의 발생하지 않았다. Ablation 연구를 통해 널‑스페이스 투영이 라우팅 안정성에 핵심적인 역할을 함을 확인했고, BCD 블록 선택 비율이 0.10.3 사이일 때 최적의 효율‑정확도 트레이드오프가 나타났다.

결론적으로 MoEEdit은 MoE LLM의 구조적 특성을 고려한 최초의 파라미터‑수정 기반 지식 편집 방법으로, 라우팅 안정성을 수학적으로 보장하면서도 계산·메모리 효율성을 크게 향상시킨다. 이는 앞으로 더욱 규모가 커지는 스파스 모델에 대한 안전하고 정확한 지식 업데이트를 가능하게 할 중요한 발판이 된다.