연구분야별 자동 설문 생성 벤치마크 SurveyLens

초록

본 논문은 자동 설문 생성(ASG) 시스템을 다양한 학문 분야에 맞춰 평가할 수 있는 최초의 분야 인식 벤치마크인 SurveyLens를 제안한다. 10개 분야에서 1,000개의 고품질 인간 작성 설문을 수집한 SurveyLens‑1k 데이터셋을 구축하고, (1) 분야별 루브릭 평가와 (2) 정준 정렬 평가라는 두 축으로 구성된 이중 평가 프레임워크를 설계한다. 11개의 최신 ASG 모델을 실험하여 각 분야별 강점·약점을 분석하고, 분야별 도구 선택에 대한 실용적 가이드를 제공한다.

상세 분석

SurveyLens는 자동 설문 생성 연구의 핵심 한계인 “평가의 범용성 부족”을 근본적으로 해결한다는 점에서 의미가 크다. 기존 ASG 평가가 ROUGE·BERTScore와 같은 n‑gram 혹은 의미 유사도 지표에 의존하고, 대부분 컴퓨터 과학 논문에만 초점을 맞춘 반면, SurveyLens는 10개 학문 분야(예: 물리학, 의학, 사회학 등)에서 구조·내용·인용 양식의 차이를 정량화한 데이터셋을 제공한다. 특히, 각 분야별 특성을 반영한 루브릭을 LLM‑as‑judge 방식으로 자동 생성하고, 인간 선호도와 일치하도록 Bradley‑Terry 모델 기반 가중치를 학습한다는 설계는 평가의 신뢰성을 크게 높인다.

두 번째 평가 축인 정준 정렬 평가는 전통적인 매칭 지표의 한계를 보완한다. RAMS(Redundancy‑Aware Matching Score)는 헝가리안 매칭을 이용해 문단‑문단 간 일대일 매칭을 수행해 중복을 직접 페널티화하고, TAMS(Thresholded Average Maximum Similarity)는 의미적 상한을 측정한다. 이 조합은 “내용 충실도 vs. 중복” 트레이드오프를 정량적으로 드러내어, 특히 장문의 설문에서 흔히 발생하는 반복 문제를 감지한다.

실험에서는 Vanilla LLM, 전용 ASG 파이프라인, 멀티‑에이전트 기반 Deep Research Agent를 각각 100개의 설문(각 분야당 10개)으로 테스트했다. 결과는 분야별로 뚜렷한 차이를 보인다. 예를 들어, 공학·물리와 같이 수식·표가 풍부한 분야에서는 전용 ASG 시스템이 구조적 일관성과 인용 정확도에서 우수했으며, 반면 인문·사회 분야에서는 Vanilla LLM이 서술적 유연성과 창의적 연결성에서 뛰어났다. Deep Research Agent는 전반적으로 풍부한 서술을 제공하지만, 섹션 구분이나 인용 형식에서 일관성이 떨어지는 경향을 보였다.

또한, 인간 전문가와의 상관관계 분석에서 SurveyLens의 두 축 평가 점수가 인간 평가와 0.78 이상의 피어슨 상관을 기록, 기존 ROUGE 기반 평가보다 현저히 높은 일치도를 나타냈다. 이는 분야별 루브릭과 정준 정렬이 실제 학술적 품질을 잘 포착한다는 강력한 증거다.

이 논문의 주요 기여는 (1) 1,000개의 다분야 설문 데이터셋 공개, (2) 분야 특화 루브릭을 자동 생성·가중치 조정하는 평가 프레임워크, (3) 중복·내용 커버리지를 동시에 측정하는 새로운 매트릭스(RAMS·TAMS), (4) 최신 ASG 모델들의 분야별 성능 프로파일 제공이다. 이러한 기여는 향후 ASG 연구가 “한 분야에 국한되지 않고, 학문 전반에 걸쳐 신뢰할 수 있는 설문을 자동 생성”하도록 방향을 제시한다.