현실적인 SAGEO 평가를 위한 SAGEO Arena 구축과 분석

초록

본 논문은 검색‑증강 생성 엔진(SAGE)의 가시성을 높이기 위한 최적화 기법(SAGEO)을 종합적으로 평가할 수 있는 벤치마크인 SAGEO Arena를 제안한다. 170 k개의 웹 문서를 구조화된 메타데이터와 함께 수집하고, 검색‑재정렬‑생성의 전체 파이프라인을 구현해 단계별 가시성을 측정한다. 실험 결과, 기존의 본문 텍스트 중심 최적화는 실제 파이프라인에서 오히려 검색 성능을 저하시켜 가시성을 감소시키며, 구조화 정보가 이를 보완한다는 점을 밝혀냈다. 또한 각 단계가 요구하는 최적화 신호가 다르므로 단계별 맞춤 최적화가 필요함을 제시한다.

상세 분석

SAGEO Arena는 기존 GEO‑Bench, AutoGEO 등 사전 정의된 후보 문서만을 이용하는 평가 방식과 달리, 실제 검색‑증강 생성 시스템이 수행하는 전체 흐름을 재현한다는 점에서 혁신적이다. 먼저 9개 도메인에 걸쳐 170 000여 개의 웹 페이지를 수집하고, 제목, 메타 설명, 헤딩, 스키마(JSON‑LD) 등 검색 엔진이 활용하는 구조화 정보를 보존한다. 이는 검색 단계에서 문서의 초기 랭킹을 결정하는 핵심 신호이며, 실험에서 구조화 정보가 없는 경우 재검색률이 급격히 떨어지는 현상이 확인되었다.

파이프라인은 (1) Dense Retriever가 상위 k 문서를 반환, (2) Cross‑Encoder 기반 재정렬기가 순위를 재조정, (3) LLM 기반 생성기가 인라인 인용과 함께 최종 응답을 생성한다. 각 단계는 모듈화되어 다양한 모델·파라미터를 교체 가능하도록 설계돼, 연구자가 최적화 전략이 어느 단계에서 이득을 주는지 정량적으로 분석할 수 있다.

실험에서는 기존 본문 텍스트 최적화(키워드 삽입, 문체 변형 등)가 재정렬 단계에서 점수를 높이는 경우도 있었지만, 전체 파이프라인에서는 오히려 Retriever가 해당 문서를 놓치는 경우가 다수 발생했다. 이는 검색 단계가 구조화된 신호에 크게 의존한다는 점을 시사한다. 반면, 메타 태그와 스키마를 최적화하면 Retriever와 재정렬 모두에서 가시성이 상승하고, 최종 생성 단계에서도 인용 확률이 크게 증가한다.

또한 저자들은 “Stage‑aware SAGEO”라는 새로운 접근법을 제안한다. 이는 각 단계별 중요 특성을 학습해, 예를 들어 검색 단계에서는 구조화 신호 강화, 재정렬 단계에서는 본문 내용의 풍부함을, 생성 단계에서는 인용 친화적 표현을 적용하는 방식이다. 이 방법은 모든 비교 대상보다 높은 Hit Rate와 Rank Change를 기록했으며, 특히 도메인별 편향을 완화하는 데 효과적이었다.

한계점으로는 현재 사용된 LLM이 특정 프롬프트에 민감해 최적화 효과가 변동할 수 있다는 점, 그리고 스키마 마크업의 품질이 웹 페이지마다 크게 다르기 때문에 실제 서비스 환경에서 일관된 성능을 보장하기 어렵다는 점을 들 수 있다. 향후 연구에서는 멀티모달 신호(이미지, 동영상 메타데이터)와 사용자 피드백을 포함한 동적 최적화 루프를 탐색할 필요가 있다.

전반적으로 SAGEO Arena는 SAGEO 연구에 필수적인 실험 기반을 제공하며, 구조화 정보의 중요성을 재조명하고 단계별 맞춤 최적화 전략의 필요성을 설득력 있게 입증한다.