구조화된 데이터와 AI 예측을 위한 통합 추정 프레임워크

초록

**
본 논문은 비정형 데이터(텍스트·이미지·음성·동영상)에서 신경망으로 추출한 저차원 구조화 변수의 측정오차를 검증 샘플을 이용해 보정하는 반결측(MAR‑S) 프레임워크를 제시한다. MAR‑S는 기존 결측‑무작위(MAR) 이론을 확장해, 검증 데이터가 개별 수준에만 존재하고 관심 파라미터는 집계·비선형 변환된 형태일 때도 일관·효율적인 추정을 가능하게 한다. 기술·인과 추정량(평균, 회귀계수, IV, DID, 회귀불연속 등)에 대한 견고하고 효율적인 추정법을 제시하고, 구현 패키지를 제공한다.

**

상세 분석

**
이 논문은 경제학자들이 비정형 데이터를 직접 분석하기 어려워 신경망을 이용해 저차원 구조화 변수를 추출하는 관행을 비판하면서, 이러한 1차 예측이 편향을 내포하고 있음을 명확히 지적한다. 기존 문헌에서는 이러한 구조화 변수를 ‘프록시’로 취급해 측정오차를 무시하거나, 단순히 무작위 표본을 가정한 검증을 통해 보정하려 했지만, 신경망의 복잡성(아키텍처 선택, 학습 데이터, 프롬프트 등)과 도메인 이동에 따른 성능 변동을 충분히 반영하지 못한다는 한계가 있다.

MAR‑S는 Rubin(1976)의 결측‑무작위(MAR) 가정을 구조화된 변수에 적용한다. 핵심은 ‘검증 샘플’(ground‑truth)이 존재한다는 전제하에, 관측 가능한 공변량을 조건으로 하면 라벨이 있는 데이터와 없는 데이터가 동일한 조건부 분포를 가진다고 가정한다. 이 가정은 ‘관측 변수에 대한 선택’ 가정과 동형이며, 따라서 인과 추론에서의 선택‑무작위 가정과 직접 연결된다.

방법론적으로는 두 단계 추정법을 사용한다. 1단계에서는 전체 비정형 데이터에 대해 임의의 블랙박스 신경망을 적용해 구조화 변수를 예측한다. 2단계에서는 검증 샘플을 이용해 예측값과 실제 라벨 간의 편차를 추정하고, 이를 추정식에 ‘교정항’으로 삽입한다. 교정항은 반결측 가중치(IPW)와 효율적 영향함수(efficient influence function)를 결합한 형태이며, 이를 통해 반편향(unbiased)과 반효율(efficient) 추정을 동시에 달성한다.

특히 논문은 다음과 같은 중요한 확장을 제공한다. 첫째, 검증 데이터가 개별 수준에만 존재하고 관심 파라미터가 집계·비선형 변환된 경우, 교정항을 집계 함수에 적용하는 ‘집계 교정(aggregation correction)’ 방법을 제시한다. 둘째, 희귀 사건(rare event)이나 불균형 라벨링 상황에서도 가중치를 조정해 안정적인 추정을 가능하게 한다. 셋째, 교정 과정에서 추가적인 구조화 변수(예: 보조 공변량)를 활용함으로써 반결측 효율성을 극대화한다. 이는 기존 PPI(Prediction‑Powered Inference) 문헌이 고정된 예측값만을 전제로 했던 것과 대비된다.

이론적 결과로는 교정된 추정량이 √n‑일관성을 갖고, 반결측 효율계수에 도달함을 증명한다. 또한, 검증 샘플 크기가 전체 표본에 비해 작아도, MAR 가정이 충족된다면 일관성을 유지한다는 ‘샘플 효율성(sample‑efficiency)’ 특성을 강조한다. 실증 부분에서는 밤빛 위성 이미지, 텍스트 기반 정책 불확실성 지수, 그리고 의료 영상 데이터를 활용해 기존 프록시 기반 추정과 비교했을 때 편향이 크게 감소하고 신뢰구간이 더 정확함을 보여준다.

마지막으로, 저자들은 Python 기반 오픈소스 패키지(MAR‑S)와 함께 구현 가이드를 제공해, 연구자가 손쉽게 검증 샘플을 설계하고 교정 추정량을 계산할 수 있도록 지원한다. 이는 AI 모델이 빠르게 진화하고 폐쇄형 모델이 사라지는 현실에서 재현가능성을 확보하는 실질적인 방안으로 평가된다.

**