AI가계량경제학을정복한다 MetricsAI의실험적검증

초록

본 논문은 오픈소스 MetaGPT 기반의 전용 AI 에이전트 MetricsAI를 개발·평가한다. 계량경제학 과제 계획, 코드 자동생성·실행, 오류 기반 반성, 다회 대화형 수정 기능을 통합한 이 에이전트는 대학 강의 과제와 실제 논문 복제 두 데이터셋에서 기존 GPT‑4·일반 AI 에이전트 대비 90 % 이상의 방향 복제율, 과제에서는 50 % 이상의 완전 복제, 논문에서는 27 %의 완전 복제 성과를 기록한다. 연구는 기술적 성과와 함께 교육·연구 생산성·글로벌 인재 양성에 미치는 경제적·사회적 파급효과를 논의한다.

상세 분석

MetricsAI는 기존 대형 언어모델(LLM)이 직면한 “다단계 논리 흐름·도메인 전문지식 부족” 문제를 메타프레임워크와 맞춤형 계량경제학 툴킷으로 해결한다. 첫째, 에이전트는 사용자의 연구 질문을 파악하고 데이터 유형(패널, 시계열, 횡단면 등)과 인과추론 목표(DID, RDD, IV 등)에 따라 최적 모델을 자동 선택한다. 둘째, Python 기반의 계량경제학 라이브러리(OLS, PanelOLS, 2SLS, Propensity Score 등)를 내부에 내장해, 프롬프트만으로 완전한 전처리·추정·진단 코드를 생성·실행한다. 셋째, 실행 중 발생하는 오류(예: 변수 누락, 수렴 실패)를 즉시 포착하고 “오류 기반 반성” 루프를 통해 프롬프트를 재구성, 코드 수정 및 재실행을 자동화한다. 넷째, 다회 대화형 인터페이스는 사용자가 “로버스트 체크 추가” 혹은 “대체 변수 제안” 등 추가 요구를 할 때, 컨텍스트 메모리를 활용해 이전 단계의 결과와 가정을 유지한 채 새로운 작업을 이어간다.

실험 설계는 두 가지 현실적 데이터셋을 사용한다. (i) 대학원 수준의 계량경제학 과제 120개는 명시적 가설·데이터·제약조건이 제공되며, (ii) 주요 경제학 저널에 실린 45편 논문의 복제 과제는 원본 논문의 표와 결과만을 제공한다. 성능 평가는 (a) 방향 복제율(계수 부호 일치), (b) 절대값 오차, (c) 완전 복제(모델·표준오차·p‑값 모두 일치)로 구분한다. 결과는 GPT‑4o가 복잡 과제에서 45 % 이하, 일반 AI 에이전트가 30 % 수준에 머무는 반면, MetricsAI는 방향 복제 93 %·완전 복제 52 %(과제)·27 %(논문)이라는 압도적 우위를 보였다. 특히 오류 기반 반성 루프가 평균 2.3회의 재시도를 통해 성공률을 18 %p 상승시켰으며, 다회 대화형 수정은 사용자가 “이상치 제거”를 요구했을 때 자동으로 Robust 표준오차를 적용하도록 유도했다.

경제·교육적 함의는 세 가지로 요약된다. 첫째, 계량경제학 진입 장벽을 크게 낮춰 비전공자·저소득 국가 학생도 고급 인과추론을 수행할 수 있게 함으로써 인적 자본 축적 속도를 가속한다. 둘째, 자동화된 진단·코드 표준화는 연구 재현성을 크게 향상시켜 현재 학계가 직면한 ‘복제 위기’를 완화한다. 셋째, 오픈소스 배포와 제로샷 확장성은 새로운 계량기법(예: 머신러닝 기반 인과추론) 도입을 비용 없이 가능하게 하여 학술·산업 현장의 기술 채택을 촉진한다. 전반적으로 MetricsAI는 LLM 기반 도구를 ‘콘텐츠 생성기’에서 ‘전문 작업 수행자’로 전환시키는 중요한 사례이며, 향후 매크로경제·금융·공공보건 등 다른 정량 분야에도 동일한 프레임워크를 적용할 여지를 보여준다.