일관성 기반 인과 순서 추출 방법

초록

본 논문은 대규모 언어 모델(LLM)의 자체 일관성을 신뢰도 지표로 활용해 변수 간 인과 순서를 추정한다. 쌍별 일관성 점수를 기반으로 반완전 부분 방향 그래프(Semi‑Complete PDG)를 구성하고, 이를 최대 방향성 부분 DAG(MPDAG)와 일관성 최대 아시클릭 토너먼트 집합으로 전환한다. 제안 방법은 전통적 인과 발견이 요구하는 강한 가정 없이도 총 효과를 식별·추정할 수 있음을 실험을 통해 입증한다.

상세 분석

이 연구는 기존 인과 발견 기법이 전제하는 인과 충분성·신실성 같은 강력한 가정을 회피하고, LLM이 제공하는 텍스트 기반 지식을 ‘불일치 지식베이스’로 모델링한다는 점에서 혁신적이다. 핵심 아이디어는 LLM에 동일 질문을 여러 번 재구성해 제시하고, 긍정 응답 비율을 일관성 점수 C 로 정의하는 것이다. C 값은 변수 Xᵢ 와 Xⱼ 사이의 인과 관계에 대한 LLM의 자기 일관성을 정량화한다.

논문은 먼저 모든 변수 쌍에 대해 C 값을 행렬 형태로 수집한다. 이 행렬을 바탕으로 반완전 부분 방향 그래프 S 를 만든다. 구체적으로, Cᵢⱼ > Cⱼᵢ이면 Xᵢ → Xⱼ 를 방향성 간선으로, Cᵢⱼ = Cⱼᵢ이면 무방향 간선 Xᵢ—Xⱼ 를 삽입한다. 이렇게 얻은 S 는 ‘최대 일관성’이라는 정의에 따라 모든 가능한 인과 순서와 일치하도록 설계된 추상화이다.

다음 단계에서는 S 를 Meek 규칙 중 R2(사이클 방지)를 적용해 완전 방향성을 갖는 MPDAG(밀집 부분 방향 DAG)로 전환한다. MPDAG는 기존 CPDAG와 달리 추가적인 배경지식(여기서는 일관성 점수)으로 인해 더 많은 간선이 방향화된 형태이며, 이는 인과 순서의 불확실성을 크게 감소시킨다.

특히 논문은 MPDAG가 ‘아시클릭 토너먼트’(모든 변수 쌍에 단일 방향 간선이 존재하는 DAG)와 연결될 수 있음을 보인다. 토너먼트는 고유한 인과 순서를 완전히 정의하므로, MPDAG에서 가능한 모든 토너먼트를 탐색해 일관성 점수 합이 최대가 되는 토너먼트 집합을 선택한다. 이 과정은 위에서 정의한 ‘최대 일관성’ 기준을 만족하는 모든 인과 순서를 포괄적으로 제공한다.

이러한 추상화가 실제 인과 효과 추정에 어떻게 활용되는지도 상세히 제시한다. 인과 충분성을 가정하면, 토너먼트의 선행 변수 집합이 바로 치료 변수의 부모가 되므로, 백도어 기준을 단순히 ‘모든 선행 변수’를 조정하는 형태로 적용할 수 있다. 따라서 총 효과(ATE)는 MPDAG 혹은 토너먼트에서 도출된 조정 집합을 이용해 표준 조정 공식으로 계산 가능하다.

실험에서는 역학·공중보건 분야의 실제 논문에서 추출한 수백 개의 DAG를 대상으로, LLM(GPT‑4 기반)으로부터 얻은 일관성 행렬을 사용해 제안 알고리즘을 적용하였다. 결과는 (1) 기존 LLM‑기반 인과 순서 추정 방법보다 높은 정확도, (2) 일관성 점수가 높은 쌍에 대해 방향이 정확히 맞춰지는 경향, (3) 토너먼트 기반 추정이 실제 시뮬레이션 데이터에서 평균 치료 효과를 편향 없이 복원함을 보여준다.

이 논문은 LLM의 ‘불완전성’ 자체를 정량화하고, 이를 그래프 이론적 구조와 결합해 인과 순서를 추출·정제하는 새로운 패러다임을 제시한다. 강력한 통계적 가정 없이도 실용적인 인과 효과 추정이 가능하다는 점에서, 특히 데이터가 부족하거나 실험 설계가 어려운 분야에 큰 응용 가능성을 가진다.