미래 예측을 위한 인퍼런스 가능 벤치마크 PROPHET와 인과 개입 가능도(CIL)

초록

PROPHET는 뉴스 기반 미래 예측을 평가하기 위한 새로운 벤치마크로, 질문‑답변 쌍이 실제로 추론 가능한지 검증한다. 이를 위해 저자들은 인과 개입 가능도(Causal Intervened Likelihood, CIL)라는 통계 지표를 제안해 각 질문에 대한 지원 근거의 충분성을 정량화한다. CIL 기반 필터링을 거친 후 구성된 데이터셋은 RAG(검색‑증강 생성) 형태로 제공되며, 여러 최신 LLM 기반 예측 모델을 평가해 향후 연구 방향을 제시한다.

상세 분석

PROPHET 논문은 기존 미래 예측 벤치마크가 “추론 가능성(inferability)”을 충분히 고려하지 않았다는 근본적인 문제점을 지적한다. 기존 데이터셋은 실제 세계에서 제시된 예측 질문을 그대로 수집하고, 해당 질문에 연관된 뉴스 기사들을 검색해 제공하지만, 질문에 대한 충분한 근거가 존재하지 않을 경우 모델이 공정하게 평가받지 못한다. 이를 해결하기 위해 저자들은 두 단계의 핵심 기여를 제시한다. 첫 번째는 Causal Intervened Likelihood(CIL)라는 새로운 통계적 측정법이다. CIL은 각 뉴스 기사(또는 사건)를 이진 변수 Xᵢ 로 모델링하고, 질문에 대한 정답을 나타내는 변수 Y 와의 인과 관계를 구조적 인과 모델(SCM)로 가정한다. 인과 개입(do‑연산)을 이용해 Xᵢ 를 강제로 발생(1)하거나 발생하지 않음(0)으로 만들었을 때 Y 가 정답 ĤY 와 일치할 확률 차이를 계산한다. 즉, CILᵢ = P(Y=ĤY | do(Xᵢ=1)) − P(Y=ĤY | do(Xᵢ=0)) 이다. 이 값이 클수록 해당 기사는 정답을 뒷받침하는 중요한 근거임을 의미한다.
두 번째는 CIL을 실제 데이터에 적용하기 위한 두 가지 현실적인 가정이다. (1) 시간 순서성 가정: 더 늦게 발생한 사건은 이전 사건에 인과적으로 영향을 미치지 않는다. 이는 인과 그래프에 사이클이 생기지 않게 하여 계산 복잡성을 크게 낮춘다. (2) w‑일 의존 창 가정: 사건 간 직접 인과 관계는 일정 기간(w일) 이내에만 존재한다는 제한이다. 이 가정은 오래된 뉴스가 직접적인 영향을 미치기보다는 중간 사건을 통해 간접적으로 연결된다고 보는 실용적 접근이다. 위 두 가정을 바탕으로 저자들은 관찰 확률만을 이용해 개입 확률을 추정하는 식(6)을 도출하고, 이를 통해 CIL을 효율적으로 계산한다.
데이터 구축 과정에서는 Polymarket와 같은 예측 시장 플랫폼에서 2025년 1월에 해결된 질문들을 수집하고, 각 질문에 대해 세 종류의 검색 쿼리를 생성해 MediaCloud에서 관련 뉴스를 대량 수집한다. 이후 LLM을 활용해 기사별 관련도 점수를 매기고, 가장 관련성이 낮거나 높은 기사(노이즈와 정답 자체를 포함할 가능성)를 제거한다. 이렇게 정제된 기사 집합에 대해 CIL을 산출하고, 사전 정의된 임계값보다 낮은 질문은 비추론 가능(non‑inferable)으로 판단해 배제한다. 결과적으로 PROPHET는 600여 개의 질문과 평균 12개의 기사로 구성된, 추론 가능성이 검증된 고품질 벤치마크가 된다.
실험에서는 CIL 점수가 높은 질문일수록 다양한 모델(LLaMA‑2, GPT‑4, FLAN‑T5 등)의 Brier Score가 낮아 실제 예측 성능과 강한 상관관계를 보임을 확인했다. 또한, CIL을 활용해 질문 난이도를 조절하거나, 모델의 검색 모듈을 미세 조정하는 등 다양한 분석이 가능함을 시연한다. 마지막으로 여러 최신 LLM 기반 예측 파이프라인을 PROPHET에 적용해 성능을 비교했으며, 전반적으로 검색‑증강 방식이 단순 프롬프트 기반보다 우수하지만, 여전히 높은 불확실성과 데이터 편향 문제에 직면해 있음을 지적한다. 논문은 향후 CIL을 더 정교하게 추정하거나, 도메인 전문가와의 협업을 통해 SCM을 보강하는 연구 방향을 제안한다.