생성형 검색에서 공정한 기여도 평가를 위한 MAXSHAPLEY 알고리즘

📝 Abstract

Generative search engines based on large language models (LLMs) are replacing traditional search, fundamentally changing how information providers are compensated. To sustain this ecosystem, we need fair mechanisms to attribute and compensate content providers based on their contributions to generated answers. We introduce MAXSHAPLEY, an efficient algorithm for fair attribution in generative search pipelines that use retrieval-augmented generation (RAG). MAXSHAPLEY is a special case of the celebrated Shapley value; it leverages a decomposable max-sum utility function to compute attributions with linear computation in the number of documents, as opposed to the exponential cost of Shapley values. We evaluate MAXSHAPLEY on three multi-hop QA datasets (HotPotQA, MuSiQUE, MS MARCO); MAXSHAPLEY achieves comparable attribution quality to exact Shapley computation, while consuming a fraction of its tokens-for instance, it gives up to an 8x reduction in resource consumption over prior state-of-the-art methods at the same attribution accuracy.

💡 Analysis

본 논문은 생성형 검색(Generative Search)이라는 새로운 패러다임이 기존 검색 생태계를 뒤흔들고 있다는 점을 출발점으로 삼는다. LLM 기반 검색 엔진은 사용자가 질문을 입력하면 내부적으로 대규모 문서 집합을 검색하고, 그 결과를 바탕으로 자연어 답변을 생성한다. 이 과정에서 각 문서가 최종 답변에 미치는 영향은 매우 복합적이며, 기존의 클릭률이나 페이지 뷰와 같은 단순 지표로는 충분히 측정할 수 없다. 따라서 “누가 얼마만큼 기여했는가”를 정량화하는 공정한 메커니즘이 요구된다.

샤플리 값은 협력 게임 이론에서 모든 참여자의 기여도를 공정하게 분배하는 방법으로 널리 알려져 있다. 그러나 샤플리 값을 직접 계산하려면 모든 가능한 문서 집합(2^N)의 효용을 평가해야 하므로, 문서 수 N이 커질수록 계산량이 지수적으로 폭증한다. 이는 실제 서비스 환경에서 실시간으로 적용하기에는 비현실적이다.

MAXSHAPLEY는 이러한 문제를 해결하기 위해 두 가지 핵심 아이디어를 도입한다. 첫째, RAG 파이프라인의 효용 함수를 “max‑sum” 형태, 즉 각 문서가 제공하는 점수 중 최대값을 선택하고 이를 전체 문서에 대해 합산하는 구조로 모델링한다. 이 구조는 효용이 문서별 점수의 독립적인 조합으로 표현될 수 있음을 의미한다. 둘째, 이러한 분해 가능성을 이용해 샤플리 값의 공식에서 각 문서의 기여도를 직접 계산할 수 있는 닫힌 형태의 식을 도출한다. 결과적으로 전체 복잡도는 O(N)으로 감소한다.

실험에서는 세 가지 대표적인 다중 홉 QA 데이터셋을 사용했는데, 이는 단일 문서가 아닌 여러 문서의 연쇄적인 정보를 결합해야 정답을 도출할 수 있는 상황을 의미한다. MAXSHAPLEY는 정확한 샤플리 값(브루트 포스 계산)과 거의 동일한 순위와 절대값을 제공하면서도, 토큰 사용량과 연산 시간에서 최대 8배까지 절감했다. 이는 특히 비용이 높은 LLM 호출을 최소화해야 하는 상업적 서비스에 큰 의미가 있다.

하지만 몇 가지 한계점도 존재한다. 첫째, “max‑sum” 효용 모델이 모든 검색-증강 생성 시나리오에 적합한지는 아직 검증이 필요하다. 예를 들어, 답변이 여러 문서의 정보를 평균적으로 통합하는 경우에는 현재 모델이 과소평가할 가능성이 있다. 둘째, 현재 구현은 정적 문서 집합을 전제로 하며, 실시간으로 추가·삭제되는 동적 인덱스에 대한 확장성은 추가 연구가 요구된다. 셋째, 샤플리 값 자체가 기여도 분배의 이상적인 기준이지만, 실제 보상 메커니즘에서는 법적·경제적 제약을 고려한 조정이 필요할 수 있다.

향후 연구 방향으로는 (1) 보다 일반적인 효용 함수(예: 가중 평균, 로그합 등)를 지원하도록 알고리즘을 확장하고, (2) 동적 문서 스트림에 대한 온라인 샤플리 근사 기법을 개발하며, (3) 실제 콘텐츠 제공자와의 계약 모델에 MAXSHAPLEY 기반 보상 체계를 적용해 실증적 검증을 수행하는 것이 제시된다. 이러한 발전은 생성형 검색 생태계가 지속 가능하고 공정하게 성장하도록 하는 핵심 인프라가 될 것이다.

📄 Content

생성형 검색에서 공정한 기여도 평가를 위한 MAXSHAPLEY 알고리즘

요약:

본 논문은 생성형 검색 엔진의 공정한 보상 체계를 위해 정보 제공자의 기여도를 평가하는 MAXSHAPLEY 알고리즘을 소개합니다. 이 알고리즘은 Shapley 가치 개념을 기반으로 설계되어 정보 제공자가 최종 답변에 미치는 기여도를 정확하고 효율적으로 측정합니다.

배경:

최근 대형 언어 모델(LLM)의 등장으로 온라인 정보 접근 방식이 근본적으로 변화했습니다. 생성형 검색 엔진은 사용자에게 질문에 대한 답변을 제공함으로써 인지 부담을 줄여주어 기존 검색 엔진의 시장 점유율을 빠르게 잠식하고 있습니다. 그러나 이러한 변화는 기존 콘텐츠 제공자의 인센티브 구조를 완전히 뒤흔들었습니다.

생성형 검색 엔진은 뉴스 웹사이트, 블로그, 교육 웹사이트와 같은 콘텐츠 제공자에게 트래픽 감소와 수익 감소를 초래했습니다. 2025년 초까지, 약 80%의 웹 검색 사용자가 AI 요약 없이 목적지에 도달하지 않는 경우가 40% 이상이었다는 보고서가 있습니다. 이러한 추세는 콘텐츠 제공자의 생존에 심각한 위협이 되고 있습니다.

문제 정의:

생성형 검색 엔진의 비즈니스 모델은 콘텐츠 제공자에게 공정한 보상을 제공하는 방향으로 진화해야 합니다. 초기 학술 연구는 주로 LLM 기반 검색 광고 경매에 초점을 맞추었지만, 이는 유기적 콘텐츠 제공자에게 혜택을 주지 못합니다. 본 논문은 생성형 검색 결과에 대한 정보 출처의 기여도를 공정하게 평가하여 콘텐츠 제공자에게 보상하는 방법을 제시합니다.

기존 방법:

Shapley 가치와 같은 변분 할당 문제는 복잡한 머신 러닝 모델의 해석과 설명을 위해 사용되어 왔습니다. 최근 몇 가지 연구는 생성형 검색에서 정보 출처의 기여도를 평가하기 위해 Shapley 가치를 활용했습니다. 그러나 이러한 방법들은 대부분 세부적인 설명에 초점을 맞추고 있으며, 경제적인 관점에서 정보 출처에 대한 공정한 기여도 평가를 제공하지 못합니다.

MAXSHAPLEY 알고리즘:

본 연구는 생성형 검색에서 정보 제공자의 기여도를 평가하기 위한 새로운 알고리즘인 MAXSHAPLEY를 제안합니다. MAXSHAPLEY는 Shapley 가치 개념을 기반으로 설계되어 각 정보 제공자의 공정한 기여도를 정확하고 효율적으로 측정합니다.

핵심 기능:

1. LLM-as-a-judge 유틸리티 함수: MAXSHAPLEY는 LLM을 활용하여 질문과 생성된 답변의 맥락으로 유틸리티 함수를 정의합니다. 이 접근 방식은 내부 LLM 상태에 대한 접근이 필요하지 않으며, 다양한 평가 기준(관련성, 정확도, 도움성 등)에 맞게 사용자 정의가 가능합니다.
2. 분해 가능한 최대 합 유틸리티 함수: MAXSHAPLEY는 정보 제공자의 기여도를 계산하기 위해 분해 가능한 최대 합 유틸리티 함수를 사용합니다. 이 함수는 각 정보 제공자의 기대 여부를 평가하는 데 필요한 반복적인 샘플링을 필요로 하는 기존 방법과 달리 선형 LLM 쿼리를 통해 효율적으로 계산됩니다.

실험 결과:

MAXSHAPLEY는 다양한 생성형 검색 환경에서 정보 제공자의 기여도를 정확하고 효율적으로 평가할 수 있음을 보여줍니다. 실험 결과, MAXSHAPLEY는 다음과 같은 우수한 성능을 달성했습니다:

• 정확도: MAXSHAPLEY는 브루트 포스 Shapley 값과 비교하여 높은 상관관계(Kendall-tau 상관 계수 > 0.79)를 보였습니다. 또한, 인간 주석 데이터와 비교했을 때 Jaccard 지수 점수가 0.9 이상으로 매우 일치했습니다.
• 효율성: MAXSHAPLEY는 브루트 포스 Shapley 계산에 비해 약 7%의 컴퓨팅 비용을 절감하며, KernelSHAP과 비교할 경우 27%의 효율성을 달성합니다.

결론:

본 논문은 생성형 검색에서 정보 제공자의 공정한 기여도를 평가하기 위한 MAXSHAPLEY 알고리즘을 제안했습니다. 이 알고리즘은 효율성과 정확성 모두를 충족하며, 콘텐츠 제공자에게 공정한 보상을 제공하는 데 기여할 것입니다.

이 글은 AI가 자동 번역 및 요약한 내용입니다.