DRACO: 다중 도메인 심층 연구 평가를 위한 새로운 벤치마크

초록

DRACO는 10개 분야와 40개국 정보를 아우르는 100개의 실제 사용자 요청 기반 복합 연구 과제를 제공한다. 각 과제는 익명화·구체화·난이도 보강 과정을 거쳐 객관적 루브릭으로 평가되며, 정확성, 완전성·깊이, 객관성·프레젠테이션, 인용 품질 네 축을 점수화한다. 공개 데이터셋과 평가 프로토콜을 통해 최신 딥 리서치 시스템(OpenAI, Gemini, Claude, Perplexity)의 성능을 비교하고, Perplexity가 전반적으로 가장 높은 점수를 기록한다.

상세 분석

DRACO 벤치마크는 기존 딥 리서치 평가 도구와 차별화되는 몇 가지 핵심 설계 원칙을 갖는다. 첫째, 과제는 실제 서비스에서 수집된 수백만 건의 사용자 질의 중 난이도가 높은 1,000건을 무작위 추출하고, 부정적 피드백(thumb‑down)이나 낮은 만족도를 지표로 삼아 ‘고난도’ 샘플을 선정한다. 이렇게 함으로써 실사용 상황을 그대로 반영하면서도, 인간 평가자가 검증하기에 충분히 구체적인 과제로 변환한다. 둘째, 익명화·명확화 단계에서 LLM을 활용해 개인식별정보와 모호성을 제거하고, 자동 파이프라인을 통해 원본 질의가 인간에게 노출되지 않도록 설계했다. 이는 데이터 프라이버시와 윤리적 책임을 동시에 충족한다는 점에서 주목할 만하다. 셋째, 과제 증강 단계에서는 ‘컨텍스트(사용자 페르소나·출력 형식·소스 지정)’, ‘범위(시간·비교·지리)’ 등 두 축을 체계적으로 확장한다. 예를 들어 “NVIDIA 재무 분석”을 “2022‑2025년 기간의 NVIDIA 재무 분석”으로 바꾸고, 추가로 경쟁사와 지역을 포함하도록 만든다. 이러한 증강은 과제의 난이도를 높이고, 다중 단계 추론 및 광범위한 정보 수집을 요구하도록 만든다. 넷째, 최종 필터링에서는 객관성(명확한 성공 기준), 추적 가능성(범위 제한), 난이도(다중 소스 통합 필요) 등을 LLM이 자동 판단하도록 하여, 인간 검토자는 최종 100개 과제만 검증한다. 이렇게 자동‑수동 혼합 파이프라인은 지속적인 벤치마크 업데이트를 가능하게 한다. 다섯째, 루브릭 설계는 도메인 전문가 26명이 참여해 4축(정확성, 완전성·깊이, 프레젠테이션, 인용)별 평균 39.3개의 세부 기준을 만든다. 각 기준은 가중치를 부여받으며, 특히 의료 분야에서는 위험한 잘못된 정보에 대해 -500까지의 강력한 페널티가 적용된다. 긍정적 기준과 부정적 기준(총 415개) 모두 포함해, ‘무엇을 해야 하는가’와 ‘피해야 할 오류’를 동시에 평가한다. 마지막으로 채점은 오픈소스 LLM‑as‑judge 프로토콜을 사용해, 각 기준에 대해 MET/UNMET 판정을 내리고 가중합을 점수화한다. 이 방식은 인간 판정 비용을 크게 절감하면서도, 전문가가 설계한 세밀한 루브릭을 유지한다는 장점이 있다. 전체적으로 DRACO는 데이터 수집·전처리·증강·필터링·루브릭 설계·채점까지 전 과정을 체계화한 최초의 대규모 다중 도메인 딥 리서치 벤치마크라 할 수 있다. 다만, 현재는 영어 과제에 국한되고, LLM‑as‑judge의 신뢰성 검증이 추가적인 인간 검증 없이 완전하다고 보기 어렵다는 점이 한계로 남는다.