독립 구조를 활용한 어설션 확률의 적대적 추정

초록

본 논문은 다수의 이진 항목으로 구성된 어설션(조합) 확률을 추정할 때, 항목 간 독립 구조가 희소하게 존재한다는 가정을 이용한다. Bahadur 전개의 일반화된 상관계수를 고차원 파라미터로 두고, 저차원 주변 확률을 널리스( nuisance) 파라미터로 취급한다. 저자는 ℓ₁ 정규화를 적용한 적대적(adversarial) 추정기를 설계하고, 이를 1차 근사 형태로 변형한 계산 효율적인 첫 번째 차수 추정기를 제안한다. 이 추정기들은 기존 다항식 모델 대비 통계적 효율성과 계산 가능성을 동시에 달성하며, 특히 다중 이진 처리(다중 치료) 상황에서 실험적·이론적 우수성을 보인다.

상세 분석

본 연구는 M개의 이진 변수 Y₁,…,Y_M 로 구성된 어설션 확률을 추정하는 문제를 고차원 통계학과 최적화 이론의 교차점에서 접근한다. Bahadur(1959)의 전통적인 전개를 확장하여, 각 이진 변수의 주변 확률 α_j와 일반화된 상관계수 r_ℓ (ℓ은 2개 이상 변수의 조합을 나타내는 인덱스) 로 전체 결합분포를 표현한다. 이때 p = 2^M – M – 1 개의 r_ℓ 파라미터는 변수 간 의존성을 완전하게 포착하지만, 실제 응용에서는 대부분이 독립 혹은 부분 독립 구조를 보이므로 r_ℓ 벡터는 희소(sparse)하다고 가정한다.

논문은 먼저 전통적인 최대우도추정(MLE)의 비볼록성 문제를 지적한다. 로그우도는 α에 대해 비볼록이며, 파라미터 차원이 지수적으로 증가하기 때문에 과적합 위험이 크다. 이를 해결하기 위해 저자는 두 단계 플러그인 방식을 제안한다. 첫 단계에서는 α_j 를 단순히 표본 평균으로 일관추정하고, 두 번째 단계에서는 고정된 α̂ 를 사용해 r에 대한 ℓ₁-패널티가 부여된 볼록 최적화 문제를 푼다. 그러나 이 플러그인 방식은 α̂ 의 추정오차가 r̂ 에 전파되어 최적 속도인 O(s log p / N) 를 달성하지 못한다는 한계가 있다.

이를 극복하기 위해 적대적 추정(framework) 를 도입한다. 적대적 추정기는 “가장 불리한” α 를 내부 최소화 문제로 설정하고, 외부에서 r 를 최대화한다. 수학적으로는
  max_{r} min_{α∈𝒜}