프리트레인 모델을 활용한 약한 섀도우 변수와 결측 데이터 부분식별

초록

본 논문은 사용자 피드백과 같은 관측치가 MNAR(무작위가 아닌 결측) 상황에서 평균 결과값을 추정하기 위한 새로운 부분식별(framework) 방법을 제시한다. 선행 학습된 모델, 특히 대형 언어 모델(LLM)의 예측값을 “약한 섀도우 변수”로 활용해 선형계획법(LP)으로 상·하한을 구하고, 이를 통해 기존 강한 가정에 의존하던 방법보다 더 넓은 적용 범위와 tighter한 구간을 제공한다. 또한 유한표본에서 식별구간의 유효성을 보장하는 집합 확장 추정기를 제안하고, 시뮬레이션 및 반실험을 통해 LLM 기반 약한 섀도우 변수가 기존 방법보다 75~83% 정도 식별 구간을 축소함을 입증한다.

상세 분석

이 연구는 결측 데이터가 무작위가 아닌(MNAR) 경우, 관측된 데이터만으로는 평균과 같은 인구량을 정확히 식별할 수 없다는 전제에서 출발한다. 전통적인 해결책은 강한 파라메트릭 모델을 가정하거나, 완전성(completeness) 조건을 만족하는 섀도우 변수를 도입하는 것이었다. 그러나 실제 서비스 환경에서는 이러한 강한 가정을 만족시키는 보조 변수를 찾기 어렵고, 특히 대규모 사전학습 모델이 제공하는 예측값은 완전성을 보장하지 않는다. 논문은 이러한 한계를 극복하기 위해 “약한 섀도우 변수(weak shadow variable)”라는 개념을 도입한다. 약한 섀도우 변수는 결측 메커니즘과 조건부 독립성을 만족하지만, 완전성 요구는 하지 않는다. 이는 LLM이 생성한 예측값이 실제 결과와 강한 선형 관계를 갖지 않더라도, 결측 여부와는 독립적인 정보를 제공한다는 점에 기반한다.

기술적으로는 관측된 데이터의 분포와 약한 섀도우 변수의 예측값을 선형 제약식으로 표현하고, 두 개의 선형 프로그램(LP)을 풀어 평균 결과값의 최솟값과 최댓값을 각각 구한다. 이때 LP의 변수는 잠재적인 완전 데이터 분포를 나타내며, 제약식은 (1) 관측된 마진 분포와 일치, (2) 약한 섀도우 변수와 결측 인디케이터 사이의 조건부 독립성, (3) 기본적인 확률 규칙(비음성, 합계 1) 등을 포함한다. 이러한 제약을 통해 식별 가능한 집합이 명확히 정의되며, 약한 섀도우 변수가 제공하는 정보가 풍부할수록 LP의 feasible region이 좁아져 식별 구간이 수축한다.

또한 저자들은 유한표본 상황에서 식별 구간의 통계적 커버리지를 보장하기 위해 “집합 확장(set‑expansion) 추정기”를 설계한다. 이 추정기는 기존의 점추정량에 부트스트랩 기반의 불확실성 구간을 추가해, 부분식별(regime)에서는 수렴 속도가 $n^{-1/4}$ 수준으로 느려도 커버리지를 유지하고, 완전 식별(point‑identification) 상황에서는 전통적인 $\sqrt{n}$ 수렴률을 회복한다.

시뮬레이션에서는 다양한 MNAR 메커니즘(예: 로짓 형태의 응답 확률)과 여러 수준의 LLM 예측 정확도를 조합해 실험하였다. 결과는 약한 섀도우 변수가 전통적인 섀도우 변수에 비해 완전성을 만족시키지 못해도, LP 기반 부분식별 프레임워크에서는 여전히 유의미한 구간 축소 효과를 보인다는 것을 확인한다. 반실험(semi‑synthetic)에서는 실제 고객 서비스 대화 데이터를 사용해 LLM이 생성한 감정 점수를 약한 섀도우 변수로 활용했으며, 기존 방법 대비 75~83% 정도 식별 구간이 감소하고, 커버리지는 명시된 95% 수준을 유지하였다.

이 논문의 주요 기여는 (1) 약한 섀도우 변수라는 새로운 개념을 도입해 사전학습 모델을 통계적 식별에 활용할 수 있는 이론적 토대를 마련, (2) 선형 프로그램을 통한 sharp한 상·하한 계산 방법을 제시, (3) 유한표본에서의 유효한 집합 추정기를 설계해 실무 적용 가능성을 높인 점이다. 특히, 대형 언어 모델이 제공하는 풍부한 텍스트 기반 예측을 기존의 강한 가정 없이도 결측 데이터 분석에 직접 연결할 수 있다는 점은 사회과학 및 플랫폼 평가 분야에 큰 파급 효과를 기대하게 만든다.