멀티LLM 협업에서 악성 모델의 영향 측정과 완화

초록

본 논문은 다중 대형 언어 모델(LLM) 협업 시스템에 악성 모델이 삽입될 경우 발생하는 성능 저하를 정량화하고, 외부 감독자를 활용한 완화 전략을 제안한다. 네 가지 악성 모델 유형을 네 가지 협업 방식에 적용해 10개 데이터셋에서 실험했으며, 평균 성능 손실이 7~8%에 달함을 확인했다. 제안된 완화 기법은 평균 95% 이상의 원래 성능을 회복한다.

상세 분석

이 연구는 현재 급증하고 있는 멀티LLM 협업 패러다임의 안전성을 체계적으로 검증한다는 점에서 학술적·산업적 의의가 크다. 먼저 악성 모델을 네 가지 방법으로 설계한다. 비파라미터적 접근인 프롬프트 기반(M1)과 활성화 스티어링(M2)은 추론 단계에서 입력에 악의적 지시를 삽입하거나 내부 표현을 변조해 의도적으로 잘못된 출력을 유도한다. 파라미터적 접근인 감독학습 기반 파인튜닝(M3)과 역보상 강화학습(M4)은 각각 잘못된 라벨이 포함된 데이터셋으로 모델을 재학습하거나 보상 신호를 뒤집어 악성 행동을 최적화하도록 만든다. 이렇게 만든 악성 모델을 기존의 다섯 개 도메인(안전, 추론, 지식, 코딩, 명령 수행) 각각에 특화된 Qwen2.5‑7B‑Instruct 모델에 삽입한다.

협업 방식은 API‑레벨 라우팅, 텍스트‑레벨 대화·피드백, 로그잇‑레벨 평균·대조, 가중치‑레벨 그리디 병합·다레티스 등 네 계층으로 구분하고, 각 계층마다 두 가지 구현을 선택해 총 8가지 협업 메커니즘을 만든다. 실험 결과, 악성 모델이 포함된 시스템은 특히 API‑레벨 라우팅과 텍스트‑레벨 대화에서 큰 성능 저하를 보였으며, 안전·추론 도메인에서 평균 7.12%와 7.94%의 손실이 관찰되었다. 로그잇‑레벨과 가중치‑레벨에서도 파라미터 기반 악성 모델이 전체 성능을 평균 13.8%까지 저하시켰다.

완화 전략은 두 축으로 나뉜다. 첫 번째는 ‘감독자‑프리’ 방식으로, 협업 내부에서 다수결 혹은 상위‑k 모델 선택을 통해 의심 모델을 자동 배제한다. 두 번째는 외부 감독자를 도입하는 ‘감독자‑기반’ 방식이다. 여기서는 LLM‑as‑a‑judge(S1)와 보상 모델(S2)을 별도 평가자로 사용해 각 모델의 초기 출력 점수를 매긴 뒤, 가장 낮은 점수를 받은 모델을 비활성화한다. 실험 결과, 감독자‑기반 방법이 평균 96.8%의 복구율을 달성해 가장 효과적이었다. 또한, 동일 도메인에서 악성 모델이 다른 도메인에도 부정적 영향을 미치는 전이 효과가 존재함을 확인했으며, 이는 현재 완화 기법이 아직 전이 악성 패턴을 완전히 차단하지 못함을 의미한다.

이 논문은 악성 모델이 멀티LLM 시스템에 미치는 위험을 정량화하고, 외부 감독자를 활용한 실용적인 방어 메커니즘을 제시함으로써 향후 안전한 협업 AI 설계에 중요한 기준점을 제공한다. 다만, 완전한 방어를 위한 이론적 한계와 악성 모델의 다양성 확대에 대한 추가 연구가 필요함을 강조한다.