텍스트 개입 효과 추정을 위한 LLM 기반 CausalDANN

초록

본 논문은 텍스트 자체를 처리 변수로 삼아 인과 효과를 추정하는 새로운 프레임워크 CausalDANN을 제안한다. 대형 언어 모델(LLM)로 텍스트를 원하는 방향으로 변환하고, 도메인 적대적 신경망(DANN)을 활용해 변환 전·후 텍스트의 결과를 예측함으로써 관찰된 통제군만 존재해도 인과 효과를 견고하게 추정한다. 세 가지 반합성 데이터셋 실험에서 기존 IPW·DR 방법보다 편향이 적은 결과를 보였다.

상세 분석

CausalDANN은 텍스트를 직접적인 치료(treatment) 변수로 보는 잠재적 결과 프레임워크(Rubin, 1974)를 기반으로 한다. 핵심 아이디어는 (1) LLM을 프롬프트하여 원본 텍스트 W를 원하는 속성(예: 분노, 감정)만 변형한 텍스트 g(W)로 변환하고, (2) 변환 전·후 텍스트에 대해 동일한 결과 예측 모델을 학습한다는 점이다. 여기서 도메인 적대적 신경망(DANN)은 관찰된 도메인(통제군)과 변환된 도메인(가상 치료군) 사이의 분포 차이를 최소화하도록 특징을 학습한다. DANN은 텍스트 인코더와 도메인 분류기(관찰 vs 변환)로 구성되며, 역전파 시 도메인 분류기의 손실에 부호를 반전시켜 인코더가 도메인 불변(feature) 표현을 만들게 한다.

식(1) E