대규모 모델을 위한 효율적 영향곡선 유도 튜토리얼

초록

본 논문은 비모수·반모수 모델에서 효율적 영향곡선(EIC)을 체계적으로 도출하는 방법을 소개한다. 기본적인 적분·측도 이론과 힐베르트 공간 개념을 활용해, 복잡한 수식 없이도 다양한 파라미터에 대한 EIC를 구할 수 있는 실용적인 절차와 예시를 제공한다.

상세 분석

이 논문은 효율적 영향곡선(EIC)이 대규모 통계 모델, 특히 비모수·반모수 모델에서 핵심적인 역할을 함을 전제로 시작한다. 저자는 먼저 힐베르트 공간 H와 그 내부곱 ⟨·,·⟩의 정의를 상세히 제시하고, 특히 L²₀(P) 공간을 “평균이 0이고 유한 분산을 갖는 함수들의 무한 차원 힐베르트 공간”으로 설정한다. 이 공간은 모든 가능한 스코어(score) 함수가 속하는 접공간(Tangent space)과 동일함을 증명함으로써, 비모수 모델의 모든 가능한 경로가 무한 차원 직교 기저를 가진다는 직관을 제공한다.

다음으로 측도 이론을 간결히 정리한다. 지배 측도(ν)와 확률 측도(P) 사이의 라돈-니코딤 파생물(p) 개념을 도입하고, 연속형·이산형 변수에 대한 적분 표기법을 일관되게 사용한다. 특히, 연속형 Y|X와 이산형 Y|X에 대해 각각 Lebesgue 측도와 카운팅 측도를 지배 측도로 삼아, 기대값을 적분 형태로 표현하는 방법을 구체적인 예시와 함께 설명한다.

핵심 기법은 “스코어 함수의 직교 투영”이다. 변수 O=(O₁,…,O_d)의 순서화된 조건밀도 p_{O_i}(o_i|Ō_{i-1})를 이용해 전체 로그밀도의 미분을 각 단계별 스코어 S_{O_i}=∂/∂ε log p_{O_i,ε}|{ε=0} 로 분해한다. 이때 S{O_i}는 서로 직교하고, 각 스코어는 해당 조건부 기대값이 0인 함수 공간 T_{O_i}에 속한다. 저자는 Q(S|T_{O_i})=E