비정형 데이터를 경제학적 분석에 통합하는 것은 인과 추론의 가장 유망한 영역 중 하나를 대표한다. 사회과학자들은 의료 기록, 금융 뉴스, 고용 이력 등과 같은 고차원 텍스트 데이터가 구조화된 데이터셋에서 “관찰되지 않은 변이성"으로 간주되는 잠재 변수의 정확한 프록시를 종종 포함한다는 점을 점점 더 인식하고 있다. 이론적으로, 이러한 잠재 혼란요인들이 텍스트로부터 복구될 수 있으면 “선택에 대한 관찰 가능성” 가정(비혼란)은 그렇지 않을 경우 실패하는 환경에서도 충족된다.

그러나 텍스트를 인과적 조정을 위한 실용화는 독특한 위상학적 도전 과제를 제시한다. 현대 자연어 처리(NLP)는 텍스트를 고차원 다양체에 위치한 밀도가 높고 연속적인 벡터(임베딩)로 표현한다. 이러한 차원성은 전통적인 경제학적 방법론에 근본적인 문제를 일으키며, 이들은 차원의 저주에 고통받는다. 고차원 공간에서 패턴을 인식하려면 차원 축소와 고급 기계 학습의 시너지가 필요하다는 주장이 있다; 전통적인 선형 방법은 이러한 밀도 있는 표현 내에 내재된 복잡하고 비선형 관계를 포착하는 데 부족함을 보인다.

따라서 Double Machine Learning(DML) 의 사용은 단순한 선호가 아니라 필수적이다. DML은 고차원 제어를 처리하기 위한 견고한 이론적 장치를 제공하며, 특히 네이먼 정교화성을 통해 가능하다. 그러나 DML은 혼란 변수 학습자의 선택에 대해 사실상 무관심하다. 실제 적용에서는 연구자들이 종종 의사결정나무 기반의 앙상블(예: Random Forests, Gradient Boosting)을 사용한다. 이는 표 형식 데이터에서의 견고성을 고려한 것이다.

본 논문은 이러한 기본 선택이 텍스트 임베딩에 적용될 때 방법론적으로 비최적이라는 주장을 제기한다. 우리는 “아키텍처 갭"이 존재한다고 주장한다: 의사결정나무의 정교화 분할 메커니즘이와 밀도 있는 연속적인 기하학 사이의 위상 불일치이다. 의사결정나무는 단계별 상수를 통해 함수를 근사하기 때문에, 밀도 있는 벡터 공간에서 특징적인 대각 또는 비선형 결정 경계를 모델링하는 데 비효율적이다. 따라서 텍스트 데이터가 인과 추정을 해제할 충분한 정보를 포함하고 있더라도 의사결정나무 기반의 DML 추정기들이 근사 오류로 인해 이를 복구하지 못할 수 있다.

우리는 이러한 문제에 대한 필수적인 해결책으로 신경망 강화된 DML 방식을 제안한다. 신경망은 연속적 다양체를 모델링하는 데 이론적으로 우월한 후보로, $`W`$가 밀도 있는 임베딩을 포함할 때 $`E[Y|W]`$와 $`E[T|W]`$와 같은 혼란 변수 함수에 적합하다.

이 방법론적 주장을 실증적으로 검증하기 위해 엄격한 몬테카를로 시뮬레이션을 구성한다. 불규칙적인 텍스트 내에서 진정한 혼란 신호가 엄격하게 인코딩된 데이터셋을 생성함으로써 추정기 아키텍처의 성능을 고립시킨다. 우리가 보여주듯이, 머신 러닝 아키텍처의 선택은 단순히 기술적 세부 사항이 아니라 고차원 텍스트 데이터 시대에서 식별의 기본 조건이다.

본 논문의 나머지는 다음과 같이 진행된다. 먼저 이론적 프레임워크를 구축하고, 잠재 혼란을 정의하며, 구조적 인과 모델과 유도 변수 편향을 사용한다. 다음으로 고차원 임베딩을 인과적 프록시로 사용하는 것이 타당하다는 근거를 제시하며, 전통적인 어휘 일치와 비교하고 기존의 DML 및 “텍스트-어스-데이터"에 대한 문헌에서 우리의 기여를 설정한다. 그 다음 실험 설계를 상세히 설명하며, 합성 데이터 생성 과정과 구체적으로 사용된 신경 아키텍처를 포함시킨다. 이어서 표준 트리 기반 추정기에서 잔류 편향이 지속되는 기본 분석을 보여주고, “모델 토너먼트"와 하이퍼파라미터 민감도 분석의 핵심 실증 결과를 통해 신경망 접근법의 우월성을 확인한다. 마지막으로 제한 사항을 논하고 결론적 고찰을 제공한다.

이론적 프레임워크: 관측되지 않은 혼란의 도전

구조적 인과 모델과 유도 변수 편향

식별 문제를 형식화하기 위해 잠재 결과 프레임워크를 채택한다. $`Y_i`$는 관찰된 결과(월 수익)이고, $`T_i \in \{0,1\}`$는 단위 $`i`$의 이진 처리(교육 완료 여부)를 나타낸다. 우리는 데이터 생성 과정이 선형 구조적 인과 모델(SCM)을 따르는 것으로 가정한다:

\begin{align}
    Y_i &= \tau T_i + X_i \beta + U_i \gamma + \epsilon_i \\
    T_i &= \mathbb{I}(X_i \delta + U_i \eta + \nu_i > 0)
\end{align}

여기서 $`X_i`$는 낮은 차원의 관찰 가능한 공변량 벡터(예: 나이, 교육)를 나타내며, $`U_i`$는 고차원 잠재 혼란요인(예: 능력, 내재 동기)을 나타낸다. 식별의 근본적인 도전은 처리 할당의 내생성에서 발생한다. 연구자가 $`Y`$, $`T`$ 및 $`X`$를 회귀 분석하여 $`U`$를 누락시키려고 시도하면, 추정치 $`\hat{\tau}_{OLS}`$는 다음과 같이 수렴한다:

\begin{equation}
    \hat{\tau}_{OLS} \xrightarrow{p} \tau + \gamma \frac{\text{Cov}(T, U | X)}{\text{Var}(T | X)}
\end{equation}

이 식별 실패는 그림 1에서 시각화된다. 이 그림은 구조적 인과 모델을 직접적으로 유도된 방향성 없는 그래프(DAG)로 매핑한다. $`U`$ 노드로부터 출발하는 엣지들은 공식 ([eq:outcome]) 및 ([eq:selection])에서 계수 $`\eta`$와 $`\gamma`$로 레이블링된다. 이 두 계수가 편향의 크기를 지배한다: 만약 $`\eta=0`$ (능력에 대한 선택 없음) 또는 $`\gamma=0`$ (능력이 수익을 방해하지 않음), 뒤쪽 경로는 닫힌다. 그러나 노동 시장에서는 이 둘은 엄격하게 0이 아니다. 빨간 점선 경로 $`T \leftarrow \eta - U - \gamma \rightarrow Y`$는 표준 회귀 분석에서 $`X`$를 통과하지 못하는 가짜 상관 관계의 흐름을 나타낸다.

설명적 예: “논문-리제마” 패러독스

이 편향의 기작을 설명하기 위해 웹 개발 분야에서 경쟁하는 두 프리랜서, 앨리스와 보브를 고려해보자. 구조화된 행정 데이터($`X`$)에서는 그들은 동일하게 보인다: 둘 다 학사 학위를 가지고 있고 플랫폼 기록이 2년이다. 그러나 잠재적 능력($`U`$)에서 차이가 있다:

• 앨리스 (고 $`U`$): 본질적으로 동기가 강하고 오픈 소스 프로젝트에 참여하며 설득력 있는 제안서를 작성한다.
• 보브 (저 $`U`$): 프리랜서링을 잡듯이 여기며 일반적인 템플릿에 의존한다.

결과 추정 편향의 방향은 특정 선택 메커니즘에 따라 달라진다:

시나리오 A: 과대평가 (양의 선택)

자발적 교육 시장에서 앨리스는 높은 동기($`U`$)로 프로그램을 자가 선택한다($`T=1`$). 동시에 그녀의 높은 능력은 훈련에 관계없이 시장 가격 상승($`Y \uparrow`$)을 보장한다. 반면, 동기 부족으로 인해 보브는 교육도 받지 않고 성과가 좋지 않다. 단순 추정기는 앨리스와 보브를 비교($`E[Y|T=1] - E[Y|T=0]`$)한다. 이 비교는 훈련의 인과적 효과와 앨리스의 우수한 기반 능력에 대한 선택 효과를 혼동한다. 수학적으로, $`\text{Cov}(T, U) > 0`$, 결과적으로 과대평가하는 긍정적인 편향 항이 발생한다.

시나리오 B: 과소평가 (음의 선택)

반대로, 낮은 성과 사용자에게 강제되는 보완 교육 개입을 고려해보자. 여기서 보브가 교육받는 반면 앨리스는 면제된다($`T=0`$). 교육받은 그룹은 시스템적으로 능력이 낮은 근로자들로 구성되어 있다. 비교를 통해 교육 받은 근로자가 교육을 받지 않은 근로자보다 더 적게 벌어보일 수 있으며, 이는 인과 효과를 과소평가하게 한다.

비정형 데이터의 인과 프록시

텍스트: 잠재 혼란 요인에 대한 창문

본 연구의 중심 전제는 잠재 혼란요인($`U`$)이 구조화된 테이블($`X`$)에서 부재하지만, 프로필 설명과 같은 비정형 데이터($`W`$)에서 독특한 “디지털 발자국"을 남긴다는 점이다.

그림 2은 우리의 식별 전략에 대한 구조적 가정을 시각화한다. 점선 노드 $`U`$는 구조화된 데이터에서 관찰되지 않는 변이성(예: 능력)을 나타낸다. 이 잠재 요인은 처리 선택 및 수익에 영향을 미쳐 열린 뒤쪽 경로($`T \leftarrow U \rightarrow Y`$)를 생성하여 표준 추정치를 편향한다. 그러나 우리는 $`U \rightarrow W`$: 잠재적 특성이 관찰된 텍스트 기능을 생성하는 인과 경로가 존재한다고 주장한다.

$`W`$는 $`U`$의 하류 프록시로서, 텍스트 임베딩은 선택을 결정하는 능력의 변동성을 포착한다. 공식적으로, $`W`$ 벡터에 조건화하면 $`U`$로부터 정보 유입을 차단하고 실질적인 비혼란 가정($`Y \perp T \mid X, W`$)을 충족시킨다.

어휘 일치의 한계 (Bag-of-Words)

전통적인 텍스트 제어 방법은 “Bag-of-Words"를 사용한다. 이 접근법은 인과적 식별에 부족한 세 가지 이유로 불충분하다:

1. 다의성: 단어의 존재는 능력을 의미하지 않는다.
2. 가짜 상관 관계: 저능력 프리랜서들은 알고리즘을 속이기 위해 키워드 스톰핑을 한다.
3. 희소성: 고능력 전문가는 단순한 키워드 일치를 통과하지 못하는 다양한 어휘를 사용한다.

고차원 임베딩의 필요성

이 제약을 극복하기 위해 우리는 밀도 있는 벡터 임베딩을 활용한다. 현대 NLP 모델, 특히 Transformer는 텍스트를 연속적이고 고차원적인 벡터 공간($`\mathbb{R}^d`$)으로 매핑한다. 임베딩은 데이터의 잠재적 의미학적 위상을 유지하며, 이 높은 차원성은 능력($`U`$)과 강하게 상관되는 “깊은 특징"을 포착하여 식별에 필요한 연속 프록시를 제공한다.

문헌 검토

텍스트-어스-데이터와 인과적 임베딩

“텍스트-어스-데이터” 움직임은 비정형 텍스트가 잠재 변수에 대한 풍부한 정보를 포함한다는 것을 인정한다. 그러나 텍스트 측정의 무분별 사용은 과적합 위험을 초래한다. 분석 전의 약속이나 샘플 분할 워크플로 없이 발견된 텍스트 측정은 가짜 인과 결론을 이끌 수 있다는 경고가 있었다.

이를 극복하기 위해, 인과적 충분한 임베딩 개념을 정식화한다. 그들은 감독 차원 축소를 통해 고차원 텍스트 $`T`$에서 저차원 표현 $`W`$를 추출하여 뒤쪽 기준($`(Y \perp T | W, X)`$)을 충족시킨다는 것을 보여주었다.

최근의 발전 (2024–2025)

이 분야는 대형 언어 모델(LLM)을 인과 파이프라인에 통합하는 방향으로 급속히 움직이고 있다. “DoubleLingo"를 도입하여 LLM 기반 혼란 모델을 DML과 결합하고 특정 벤치마크에서 오류 감소를 달성했다고 주장한다. 동시에, 새로운 연구는 LLM을 단순 예측에 사용하는 것을 넘어서 인과 그래프에서 숨겨진 혼란 요인을 가정하기 위한 프록시로 활용하기 시작하고 있다. 이러한 접근법은 언어 모델의 고차원 내부 상태가 사회 세계의 잠재적 위상을 포착한다는 가정에 기반한다.

간격: 방법론적 검증 대 진짜 지상

이러한 발전에도 불구하고 중요한 간격이 남아 있다. 현존하는 적용은 주로 두 범주로 나뉜다:

1. 이론적 제안: 관찰 데이터에서 진정한 인과 효과가 알려지지 않은 방법(예: )을 보여주며, 편향 감소를 엄격하게 검증하기는 어렵다.
2. 텍스트의 결과/처리: 텍스트를 대상 변수로 처리하는 연구(예: ), 잠재적 혼란 요인에 대한 프록시로 사용하지 않음.

현재까지 진정한 지상 진실에 대해 전체 파이프라인을 엄밀하게 벤치마킹한 작업은 없다. 우리의 기여는 방법론적 검증이다. 합성 데이터 생성 과정(DGP)에서 진정한 효과($`\tau = \$557`$)와 잠재 혼란 요인이 설계로 인해 알려져 있음을 통해 확실한 개념 증명을 제공한다. 우리는 전통적인 모델의 실패 메커니즘(“아키텍처 간격”)을 고립시키고, 신경망 아키텍처가 관찰되지 않은 혼란 요인에 의해 손상된 인과 효과를 복구할 수 있음을 보여준다.

방법론

데이터 생성 과정

$`N=2,000`$ 프리랜서의 합성 미크로데이터셋을 생성했다. 프리랜서 노동 시장은 이 시뮬레이션의 도메인으로 선택되었으며, 이는 자기 작성된 프로필 설명에 크게 의존하며, 테이블 데이터에서 거의 포착되지 않는 개인적 특징(예: 부드러운 기술, 신뢰성, 기술 깊이)에 대한 풍부한 비정형 신호를 포함한다. 따라서 DGP는 두 개의 관찰되지 않은 잠재 혼란 요인: 능력($`\alpha_i`$)과 동기($`\mu_i`$)로 특징화된 구조적 방정식 모델을 기반으로 한다. 이 잠재 변수들은 표준 정규 분포에서 추출되며, $`\rho=0.3`$로 양의 상관관계를 가지며, 동기 부여 개인이 더 높은 스킬을 축적하는 실제 세계 경향을 반영한다.