효과 중심 검증: 인과 발견의 신뢰성 재정의

초록

본 논문은 대규모 게임 텔레메트리 데이터를 활용해 인과 발견 알고리즘을 평가할 때, 그래프 복구 정확도보다 “효과 수준” 검증을 우선시하는 프레임워크를 제안한다. 식별 가능성, 안정성, 위증 검증을 기준으로 발견된 그래프를 필터링하고, 실제 사용자 행동(조기 PvP 노출 → 단기 유지)에서 일관된 인과 효과를 도출할 수 있는지를 판단한다. 실험 결과, 그래프 구조가 크게 달라도 식별 가능하고 안정적인 효과 추정치는 일치했으며, 반대로 구조적 점수가 높아도 식별이 불가능해 효과를 추정할 수 없는 경우가 많았다.

상세 분석

이 연구는 인과 발견을 “구조 복구” 문제에서 “효과 추정” 문제로 전환한다는 근본적인 관점을 제시한다. 기존 문헌에서는 합성 데이터에서 구조적 해밍 거리(SHD), 정밀도·재현율 등 그래프 수준 메트릭을 사용해 알고리즘을 평가했지만, 실제 텔레메트리와 같은 피드백 루프와 강한 자기선택이 존재하는 환경에서는 이러한 메트릭이 인과 추론의 신뢰성을 보장하지 못한다는 점을 강조한다.

핵심 기여는 네 가지이다. 첫째, admissibility‑first 파이프라인을 설계해 발견된 그래프를 식별 가능성(identifiability)과 양성(positivity) 조건을 만족하는지 먼저 검증한다. 여기서 식별 가능성은 백도어 조정(back‑door adjustment) 혹은 도구변수 등으로 목표 추정량을 정확히 추정할 수 있는지를 의미한다. 둘째, 효과 수준 검증 프로토콜을 도입해 동일 효과가 여러 알고리즘에서 일관되게 나타나는지, 플라시보·서브샘플링 위증 테스트와 E‑value 기반 민감도 분석을 통해 견고성을 평가한다. 셋째, 실제 게임 텔레메트리 데이터를 이용해 “조기 경쟁 모드(PvP) 노출 → 단기 유지”라는 구체적 인과 질문에 대해 실험을 수행했다. 여기서 여러 알고리즘(PC, FCI, GRaSP, BOSS 등)이 서로 다른 그래프를 출력했지만, 식별 가능하고 안정적인 경우에는 평균 처리 효과(ATE)가 거의 동일하게 추정되었다. 특히, 직접적인 치료‑결과 간선이 없더라도 간접 경로를 통해 동일한 효과가 도출되는 사례가 관찰되었다. 넷째, 식별 가능성 병목을 정량화했다. 많은 통계적으로 타당한 그래프가 최소한의 시간·의미 제약을 적용하면 조정 집합을 찾을 수 없으며, 이 경우 효과는 “정의되지 않음”으로 처리한다. 이는 그래프 수준 메트릭과는 무관하게 식별 가능성이 가장 중요한 제약임을 보여준다.

기술적 세부사항으로는, 텔레메트리 변수를 시간 슬라이스별로 나누어 DAG‑only 가정 하에 인과 구조를 학습하고, 도메인 지식으로 정의한 “시간적 선행”과 “의미적 일관성” 제약을 하드 코딩한다. 이러한 제약은 미래 결과가 과거 행동을 설명하지 못하도록 하고, 플랫폼 레벨 변수는 게임 내 행동에 의해 발생하지 않도록 하는 역할을 한다. 제약을 만족하는 그래프만이 식별 게이트를 통과한다.

실험 결과는 두 가지 중요한 메시지를 전달한다. 첫째, 그래프 구조가 서로 다르더라도 동일한 인과 효과가 도출될 수 있음을 보여주며, 이는 “구조적 다양성”이 반드시 “효과 불확실성”을 의미하지 않음을 시사한다. 둘째, 높은 SHD·F1 점수를 가진 그래프가 식별 가능성을 상실할 경우, 실제 의사결정에 사용할 수 없는 무용지물임을 입증한다. 따라서 인과 발견 파이프라인에 admissibility‑first 단계와 효과 수준 검증을 필수적으로 포함해야 한다는 실용적 권고를 제시한다.