경제학 논문의 인과 주장 분석과 영향

초록

본 논문은 44,852편의 경제학 작업 논문을 대상으로 “주장 그래프”(claim graph)를 구축한다. 각 논문을 표준화된 JEL 개념 노드와 저자 진술 관계(에지)로 표현하고, 에지는 인과 추론 설계(예: DiD, IV, RCT 등) 여부에 따라 라벨링한다. 인과 에지 비중은 1990년 7.7%에서 2020년 31.7%로 급증했으며, 인과적 서사 구조와 인과적 신규성은 상위 5% 게재 확률 및 장기 인용에 긍정적 영향을 미친다.

상세 분석

이 연구는 경제학 분야에서 “인과 주장”을 정량화하기 위해 새로운 데이터 구조인 증거‑주석 주장 그래프(evidence‑annotated claim graph)를 제안한다. 논문마다 경제 개념을 JEL 코드에 매핑한 노드 집합 V와, 저자가 텍스트에서 명시한 관계를 방향성 에지 E로 구성한다. 핵심은 각 에지에 증거 유형을 부여하는데, 차별적 인과 설계(DiD, IV, RCT, RDD, Synthetic Control)로 뒷받침되는 경우를 ‘인과 에지’로 구분하고, 이론·설명·상관 분석 등은 ‘비인과 에지’로 라벨링한다.

데이터 수집은 NBER와 CEPR 작업 논문 44,852편을 대상으로 1980‑2023년 구간을 포괄한다. 중복 논문은 제목‑연도 정규화 키로 식별하고, 1,000자 이상, 앞 30페이지만을 분석 대상으로 제한해 핵심 주장 부분을 포착한다. 텍스트 전처리 후, 다단계 LLM 파이프라인을 적용한다. 1단계에서는 GPT‑4o‑mini를 이용해 연구 질문·방법·핵심 메타데이터를 구조화된 요약으로 추출하고, 이를 3번 독립 실행한다. 2단계에서는 동일 모델에 에지 추출 프롬프트를 적용해 후보 관계와 증거 라벨을 얻으며, 역시 3번 반복해 총 9개의 에지 리스트를 만든다. 3단계에서는 임베딩 기반 매칭과 사전 정의된 JEL 어휘집을 이용해 자유 텍스트 개념을 표준 코드로 매핑한다. 마지막으로 에지‑오버랩(EO) 규칙(E0 ≥ 4)을 적용해 다중 실행 결과를 집계, 정밀도‑재현성 균형을 확보한다.

검증은 (1) 내부 반복 안정성, (2) 텍스트 스니펫 기반 근거 확인, (3) 외부 베이스라인(예: 기존 메타‑분석 데이터)과의 교차 검증을 수행한다. 특히 인과 설계 라벨링 정확도는 92% 이상, 비인과 라벨링은 88% 수준으로 보고, 오류는 주로 설계 명시가 모호한 경우에 집중된다.

주요 실증 결과는 세 가지이다. 첫째, 인과 에지 비중이 1990년 7.7%에서 2020년 31.7%로 급격히 상승했으며, 분야별 차이는 존재한다(예: 노동경제학·개발경제학에서 높은 성장). 둘째, 인과 서사 구조(인과 에지 총량)와 인과 신규성(새롭게 등장한 인과 에지)의 두 배 증가는 상위 5% 게재 확률을 각각 +1.36·p.p, +1.71·p.p 상승시키고, 장기 인용수도 각각 +11.2%, +10.7% 증가시킨다. 반면 비인과 에지 확대는 효과가 미미하거나 부정적이다. 셋째, ‘갭‑필링’(중심 개념 쌍 사이 새로운 연결) 효과는 인과 설계에 기반할 때만 긍정적이며, 비인과적 갭‑필링은 인용에 일관된 영향을 주지 않는다.

이러한 결과는 ‘신뢰성 혁명’이 논문 수준이 아니라 주장 수준에서도 진행되고 있음을 보여준다. 인과 설계가 논문의 구조적 깊이와 혁신성을 강화하고, 편집·심사 과정에서 이를 보상한다는 점은 연구 인센티브 설계에 중요한 함의를 제공한다. 또한, 주장 그래프는 메타‑분석, 정책 요약, 미디어 프레이밍 연구 등 다양한 파생 응용이 가능하도록 하는 기반 인프라로서 가치가 크다. 한계점으로는 LLM 기반 추출의 오류 가능성, 30페이지 제한에 따른 일부 주장 누락, 그리고 인과 설계 라벨링이 저자 진술에 크게 의존한다는 점을 들 수 있다. 향후 연구에서는 전체 논문 텍스트 확대, 다중 모델 앙상블, 그리고 인과 설계 자동 검증 알고리즘을 도입해 정확도를 높일 필요가 있다.