마스크드 에이전트 협업으로 의료 의사결정 능력 강화하는 MAC 프레임워크

초록

본 논문은 대규모 언어 모델(LLM)들을 다중 에이전트 시스템(MAS)으로 결합할 때, 효율·성능·다양성 간의 다중 목표를 파레토 최적화로 선택하고, 에이전트 간 출력 일관성을 교차‑일관성(Cross‑Consistency) 지표로 측정해 가장 일관성 낮은 에이전트를 마스킹하는 동적 협업 메커니즘을 제안한다. 이를 층별 적응형 진행 전파(Adaptive Progressive Propagation)와 결합해 의료 진단·치료 질문에 대한 정확도를 기존 MAS 기반 모델보다 9~16% 향상시켰다.

상세 분석

MAC 프레임워크는 두 개의 핵심 모듈로 구성된다. 첫 번째는 파레토‑프론티어 요인 분석이다. 저자들은 후보 LLM 풀을 ‘모델 크기’, ‘추론 시간’, ‘다양성 점수’, ‘처리량(throughput)’ 네 가지 정량적 지표로 평가한다. 특히 다양성 점수는 동일 모델이 동일 프롬프트에 대해 여러 번 생성한 출력 간 의미적 유사도를 계산해 얻으며, 이는 모델이 한 질문에 대해 다채로운 관점을 제공할 가능성을 정량화한다는 점에서 흥미롭다. 이 다중 목표를 파레토 최적화 문제로 전환해, 효율성(시간·자원)과 성능(다양성·처리량) 사이의 균형을 만족하는 에이전트 집합을 자동으로 추출한다. 기존 연구가 단순히 정확도만을 기준으로 에이전트를 선택하거나, 사전 정의된 고정 집합을 사용하는 반면, MAC은 실제 배포 환경에서 요구되는 비용‑효과 트레이드오프를 체계적으로 반영한다는 장점이 있다.

두 번째 모듈은 교차‑일관성 최대화와 마스킹 전략이다. 선택된 에이전트들의 출력 쌍에 대해 의미적 유사도(예: 코사인 유사도 기반 임베딩)를 계산해 ‘교차‑일관성(Cross‑Consistency, CC)’ 값을 구한다. CC 값이 가장 낮은 에이전트를 해당 레이어에서 마스크하고, 이후 레이어에서는 마스크되지 않은 에이전트들의 출력을 집합적으로 입력(prompt)으로 사용한다. 이렇게 하면 오류를 전파할 위험이 큰 ‘불일치’ 에이전트를 조기에 배제할 수 있다. 특히 의료 분야에서 과잉 자신감(over‑confidence)으로 인한 허위 진단이 치명적일 수 있기 때문에, 동적 마스킹은 신뢰성을 크게 높인다.

MAC의 최종 협업 메커니즘은 ‘적응형 진행 전파(Adaptive Progressive Propagation)’라 명명된다. 각 레이어의 에이전트는 이전 레이어에서 마스크되지 않은 에이전트들의 출력을 프롬프트에 삽입해 재생성한다. 이는 인간 전문가가 토론을 통해 점진적으로 결론에 수렴하는 과정과 유사하며, 각 단계에서 일관성이 강화된 정보를 기반으로 새로운 추론을 수행한다.

실험에서는 NEJM‑QA(산부인과), MedQA, 그리고 또 다른 임상 질문 데이터셋 등 세 가지 의료 도메인에서 MAC을 평가했다. 결과는 70B‑141B 규모의 오픈‑액세스 LLM들로 구성된 기존 MAS 모델보다 평균 16.55%p, GPT‑4보다 9.35%p 높은 정확도를 기록했다. 또한 메모리 사용량과 추론 시간 측면에서도 파레토‑선택된 소형 모델을 포함함으로써 비용 효율성을 유지했다.

비판적 관점에서 보면, 파레토 최적화 과정에서 사용된 ‘다양성 점수’와 ‘처리량’의 정의가 다소 주관적이며, 동일 모델 내 다중 출력 생성 방식(예: 온‑디맨드 샘플링 수, 온도 파라미터)과 연관돼 결과가 변동될 수 있다. 또한 교차‑일관성 계산에 사용된 임베딩 모델이 별도 LLM이 아닌 고정된 사전 학습 임베딩이라면, 의료 전문 용어에 대한 민감도가 떨어질 위험이 있다. 마스킹 전략은 가장 낮은 CC 값을 가진 하나의 에이전트를 제거하지만, 다중 에이전트가 동시에 낮은 일관성을 보이는 경우를 고려한 다중 마스킹 혹은 가중치 기반 통합 방안이 추가된다면 더욱 견고해질 것이다. 마지막으로, 실험에 사용된 데이터셋이 주로 객관식 질문 형태이며, 실제 임상 기록이나 복합적인 치료 계획 수립과 같은 생성‑중심 작업에 대한 평가가 부족하다. 이러한 점들을 보완한다면 MAC은 의료 AI 시스템의 신뢰성·효율성을 크게 향상시킬 잠재력을 가진다.