다중에이전트 LLM으로 인과계량변수(IV) 탐색 혁신

초록

본 논문은 대규모 언어모델(LLM)이 인과계량변수(IV)를 식별하는 과정을 지원할 수 있는지를 검증한다. 저자는 두 단계 평가(문헌에 등재된 표준 IV 회복, 무효화된 IV 회피)를 수행한 뒤, 제안·비판·정제 역할을 하는 다중 에이전트 시스템 “IV Co‑Scientist”를 구축한다. 또한, 실제 관측 데이터(Gapminder)에서 제시된 새로운 치료‑결과 쌍에 대해 내부 일관성 메트릭을 도입해 정량적으로 검증한다. 실험 결과, GPT‑4o 등 최신 모델은 기존 IV를 높은 정확도로 재현하고, 무효 IV를 효과적으로 배제했으며, 새로운 후보 IV를 생성하는 데 유의미한 잠재력을 보였다.

상세 분석

이 연구는 인과계량변수(IV) 탐색이라는 전통적으로 도메인 전문가의 직관과 이론적 논증에 크게 의존하던 작업을, 대규모 언어모델(LLM)의 지식 기반과 추론 능력으로 보완하려는 시도이다. 먼저 저자는 “두 단계 평가 프레임워크”를 설계한다. ① 문헌에 널리 알려진 IV를 LLM이 재현할 수 있는지 확인함으로써 모델의 기본적인 인과 논리와 학술적 지식 보유 수준을 검증한다. ② 과거에 무효화된 IV(예: 강우량을 전쟁‑경제 성장 연구에 사용한 경우)를 제시했을 때 모델이 이를 회피하거나 비판 에이전트가 올바르게 거부하는지를 테스트한다. 이 두 단계는 모델이 단순히 연관성을 복제하는 것이 아니라, 인과적 배제·독립성 조건을 이해하고 적용할 수 있는지를 판단한다.

다음으로 제안된 “IV Co‑Scientist”는 세 가지 역할을 수행하는 다중 에이전트 파이프라인으로 구성된다. 1) HypothesisGenerator는 치료‑결과 쌍(T, Y)에 대해 후보 IV와 잠재적 교란 변수 U를 각각 3개씩 제시한다. 2) CriticAgent‑Exclusion는 각 후보 IV가 치료를 매개로만 결과에 영향을 미치는지(배제 제한) 여부를 논증한다. 3) CriticAgent‑Independence는 제시된 교란 변수와의 독립성을 평가한다. 두 비판 에이전트가 모두 ‘유효’라고 판단한 IV만 최종 후보 집합에 포함된다.

실험에서는 GPT‑4o, o3‑mini, QwQ 등 최신 생성 모델과 Llama 3.1(8B/70B) 등 비교 모델을 사용했다. 표 1은 5개의 대표적인 치료‑결과 쌍(군복무‑소득, 교육‑임금 등)에서 ‘Exact Match’(문헌과 동일한 IV)와 ‘Conceptual Match’(의미적으로 동등한 IV) 비율을 제시한다. GPT‑4o와 o3‑mini는 0.74~1.00 사이의 높은 EM·CM 점수를 기록했으며, 특히 배제·독립성 검증 단계에서도 일관된 성능을 보였다. 반면 Llama 3.1 8B는 전반적으로 낮은 점수를 보였고, 70B 모델은 중간 수준이었지만 여전히 최신 GPT 계열에 비해 뒤처졌다.

무효 IV 회피 실험(표 2)에서는 ‘HypothesisGenerator’가 무효 IV를 제시했는지와 ‘CriticAgent’가 이를 정확히 식별했는지를 측정했다. GPT‑4o와 QwQ는 무효 IV를 거의 제시하지 않았으며, 비판 단계에서도 90% 이상 정확히 거부했다. Llama 3.1 8B는 무효 IV를 종종 생성하고, 비판 단계에서도 낮은 탐지율을 보였다.

마지막으로 저자는 Gapminder 데이터(300개 이상의 국가·연도 지표)를 활용해 실제 관측 데이터에서 새로운 IV를 생성하고, 제안된 일관성 메트릭(다수 후보 IV에 대한 2SLS 추정값의 변동성)으로 정량화했다. 일관성 점수가 낮을수록 후보 IV들이 동일한 인과 효과를 추정한다는 의미이며, GPT‑4o 기반 시스템은 평균 일관성 지표가 0.12로 가장 안정적인 추정치를 제공했다.

전체적으로 이 논문은 (1) LLM이 기존 인과계량변수 지식을 재현하고, (2) 무효화된 변수를 회피·비판할 수 있음을 실증적으로 입증했으며, (3) 다중 에이전트 구조가 생성‑비판‑정제의 순환을 통해 새로운 IV 후보를 탐색하는 실용적인 프레임워크를 제공한다는 점에서 의미가 크다. 다만, (가) LLM이 제공하는 ‘배제 제한’·‘독립성’ 논증은 여전히 모델 내부의 추론에 의존하므로, 실제 정책·연구 적용 시 인간 전문가의 최종 검증이 필수적이며, (나) 현재 실험은 주로 영어·경제·보건 분야에 국한돼 있어 다른 도메인(예: 환경·법학)으로의 일반화 검증이 필요하고, (다) 제안된 일관성 메트릭은 관측 데이터에만 의존하므로, 실제 무효 검증을 위한 외부 실험 설계와 결합해야 한다는 한계가 있다.