퀴즈로 요약을 배우다: 장문 문서 요약을 위한 적대적 에이전트 협업

초록

SummQ는 요약 생성 에이전트와 퀴즈 생성 에이전트를 서로 대립시키는 다중 에이전트 프레임워크이다. 요약 생성기가 만든 초안을 퀴즈 생성기가 검증하고, 검토자와 응시자 에이전트가 피드백을 제공해 반복적으로 요약을 개선한다. MENSA, BookSum, GovReport 등 세 벤치마크에서 ROUGE·BERTScore는 물론 인간 평가까지 현존 최고 성능을 기록한다.

상세 분석

SummQ는 장문 요약의 핵심 문제인 정보 손실·사실 오류·연결성 결함을 해결하기 위해 ‘요약‑퀴즈’ 이중 작업을 설계했다. 요약 생성기(Gs)와 퀴즈 생성기(Gq)는 각각 n개의 독립적인 LLM 에이전트로 구성되며, 독립 초안 작성 → 집계(Agg) → 개별 최고 초안 선택(Ranker) → 집단 투표라는 4단계 협업 파이프라인을 거친다. 이 과정은 다양한 관점을 자연스럽게 융합하면서도 개별 에이전트가 만든 뛰어난 초안을 놓치지 않게 한다.
검토자(Rs, Rq)는 독립 어노테이션 후, 최소 두 명 이상이 지적한 ‘동의 이슈’를 바로 문제 리스트에 넣고, 의견이 엇갈린 ‘논쟁 이슈’를 다수 라운드 토론을 통해 검증한다. 토론 단계에서는 각 검토자가 근거를 제시하고 다수결로 최종 유효성을 판단한다는 점이 기존 단순 체크리스트 방식보다 신뢰성을 크게 높인다.
중심적인 ‘응시자’ 에이전트(E)는 생성된 요약만을 이용해 퀴즈를 풀어본다. E가 퀴즈를 정확히 풀이하지 못하면 해당 질문을 요약 피드백에 연결시켜 요약을 재생성하도록 유도한다. 즉, 퀴즈가 요약의 ‘정보 커버리지’를 실시간 검사하는 역할을 수행한다.
전체 흐름은 Algorithm 1에 정리돼 있으며, 피드백이 전혀 없을 때(요약·퀴즈 모두 만족) 루프를 종료한다. 이때까지 최대 T_iter 번 반복하며, 각 반복마다 요약·퀴즈가 점진적으로 정제된다.
실험에서는 기존 최첨단 모델(LED, Longformer, ChatGPT‑4 기반 요약기 등) 대비 ROUGE‑1/2/L + BERTScore에서 평균 3~5%p 상승을 보였고, LLM‑as‑Judge와 인간 평가에서도 ‘정보 충실도’·‘사실 정확도’·‘문맥 일관성’ 항목에서 유의미한 우위를 차지했다. Ablation 연구에서는 (1) 퀴즈 생성기 제거 시 요약 품질 급락, (2) 응시자 피드백 제외 시 반복 수렴이 늦어짐을 확인했다.
한계점으로는 퀴즈 생성 비용이 높아 전체 연산량이 증가하고, 퀴즈 품질이 요약 품질에 직접적인 영향을 미치므로 퀴즈 설계가 부실하면 오히려 성능 저하가 발생한다는 점이다. 또한 현재는 영어·중국어 데이터에만 검증돼 다국어 확장성 검증이 필요하다.