시간 오염을 가시화한다 LLM 백테스트를 위한 청구 기반 누수 탐지와 방지

초록

본 논문은 과거 시점을 기준으로 예측해야 하는 LLM 백테스트에서 발생하는 ‘시간 지식 누수’를 청구 단위로 분해하고, 각 청구의 중요도를 Shapley 값으로 측정해 누수 비율을 정량화한다. 이를 기반으로 청구 검증·재생성을 통해 누수를 사전에 차단하는 TimeSPEC 프레임워크를 제안하고, 법률, 스포츠, 금융 세 분야 실험을 통해 기존 프롬프트 방식보다 누수는 크게 감소시키면서 성능을 유지함을 입증한다.

상세 분석

이 논문은 LLM이 사후 정보를 무의식적으로 활용해 미래 사건을 예측하는 ‘시간 오염(temporal leakage)’ 문제를 근본적으로 해결하고자 한다. 핵심 아이디어는 모델이 생성한 설명(rationale)을 “원자 청구(claim)”라는 최소 단위로 분해하고, 각 청구가 언제부터 공개되었는지를 판단하는 ‘시간 근거 함수 τ(c)’를 정의하는 것이다. 청구는 크게 A1A5(시간에 의존하는 청구)와 B1B2(시간에 무관한 청구) 두 그룹으로 분류되며, A4(결과 청구)와 A5(사후 파급 청구)는 정의상 언제나 누수로 간주한다. 반면 B1·B2는 영원히 누수가 아니며, A1~A3은 외부 검색을 통해 최초 공개 시점을 확인한다.

청구별 중요도는 Shapley 값으로 추정한다. 논문은 특성 함수 v(S)를 “청구 집합 S만을 제공했을 때 모델이 내는 예측”으로 정의하고, 모든 청구 조합에 대한 평균 마진 기여도를 계산한다. 실제 구현에서는 10~20개의 청구가 일반적이므로 완전 탐색이 가능하지만, 대규모 경우를 위해 Monte‑Carlo 샘플링을 사용한다. 이렇게 얻은 |ϕ_i|는 해당 청구가 최종 예측에 미치는 영향력을 정량화한다.

Shapley‑Weighted Decision‑Critical Leakage Rate(Shapley‑DCLR)는
 Σ_i |ϕ_i|·ℓ(c_i) / Σ_i |ϕ_i|
로 정의되며, ‘중요 청구가 누수인지’를 직접적으로 측정한다. ℓ(c_i) 는 청구가 누수인지 여부를 나타내는 이진 지표이며, A4·A5는 1, B1·B2는 0, A1~A3은 검색 결과에 따라 결정된다. 이 메트릭은 두 가지 해석을 제공한다. 첫째, 높은 Shapley‑DCLR는 모델이 핵심 근거로 사후 정보를 사용하고 있음을 의미해 예측 신뢰성을 크게 저하시킨다. 둘째, 낮은 값은 누수가 존재하더라도 주변 청구에 국한되어 있어 실제 의사결정에 큰 영향을 미치지 않음을 시사한다.

시간 오염을 사전에 차단하기 위한 TimeSPEC 아키텍처는 다섯 단계로 구성된다. 1) Generator는 입력과 기준 시점을 받아, ‘시점 제한 검색(date‑filtered search)’을 통해 사전 문서를 수집하고 초기 예측과 근거를 생성한다. 2) Supervisor는 청구 추출·분류와 누수 검사를 수행한다. 3) Regenerator는 누수가 발견된 경우, 검증된 청구만을 사용해 재생성을 수행한다. 4) Resupervisor는 재생성 결과를 다시 검증해 최종 청구 집합을 확정한다. 5) Aggregator는 검증된 청구들을 종합해 최종 예측을 산출한다. 이 과정은 외부 검색 엔진과 날짜 필터링을 활용해 ‘모델 자체가 시간 인식을 못한다’는 한계를 보완한다.

실험은 미국 대법원 판결 예측, NBA 선수 연봉 추정, S&P 500 주식 수익률 순위 예측 등 세 도메인에서 350개의 사례를 대상으로 수행되었다. 기존 프롬프트 기반 베이스라인(시간 제한 프롬프트, 체인‑오브‑씽크 등)은 Shapley‑DCLR가 0.35~0.62 수준으로 높은 누수를 보였으며, 이는 실제 예측 정확도와 상관없이 사후 정보를 활용한 결과였다. 반면 TimeSPEC은 누수 비율을 75%~99% 감소시켰고, 주요 성능 지표(정확도, RMSE, NDCG 등)는 대부분 베이스라인과 차이가 없거나 미세하게 개선되었다. 특히 법률 도메인에서는 사후 판결을 완전히 배제하고도 78%의 정확도를 유지했으며, 금융 도메인에서는 누수 감소에도 불구하고 연간 알파 수익률이 유지되는 것을 확인했다.

이 논문은 LLM 백테스트에서 ‘무엇을 근거로 삼았는가’를 정밀하게 추적하고, 그 근거가 시점에 맞는지 여부를 정량화함으로써 기존 평가 방법의 신뢰성을 크게 향상시킨다. 청구 수준의 세분화와 Shapley 기반 중요도 가중치는 누수의 질적·양적 차이를 동시에 포착할 수 있게 하며, TimeSPEC은 이러한 분석을 실시간으로 적용해 실제 시스템에 바로 활용 가능하도록 만든다. 향후 연구에서는 청구 자동 추출 정확도 향상, 다중 모달 증거(이미지·표 등) 통합, 그리고 누수 방지 비용 최적화 등을 통해 더욱 실용적인 프레임워크로 확장할 여지가 있다.