안정적인 알고리즘 회복을 위한 타원형 라쇼몬 집합 기반 방법

초록

ElliCE는 라쇼몬 집합을 타원형으로 근사해 모든 근접 최적 모델에 대해 유효한 반사실 설명을 생성한다. 폐쇄형 최악‑모델 해와 QCQP 형태의 최적화로 이론적 유일성·안정성을 보장하고, 사용자 제약을 반영하면서 기존 방법보다 수십 배 빠르게 강건한 재구성을 제공한다.

상세 분석

본 논문은 머신러닝 모델이 자주 재학습되는 고위험 도메인에서, 단일 모델에 기반한 반사실(counterfactual) 설명이 모델 교체 시 무효화되는 문제를 지적한다. 이를 해결하기 위해 저자들은 라쇼몬 집합—즉, 목표 손실에 근접한 모든 파라미터 집합—을 타원형으로 근사한다. 타원형은 손실 함수의 헤시안(Hessian)과 ℓ2 정규화 항을 이용해 정의되며, 정규화가 존재하면 항상 양정(positive‑definite)이다. 이 근사 덕분에 “가장 불리한” 모델 파라미터를 폐쇄형으로 구할 수 있다. 정리 1에 따르면, 주어진 후보 반사실 x_c에 대해 최악 모델의 예측은 ˆθᵀx_c − √(2ε)·‖x_c‖{H^{-1}} 로 표현된다. 따라서 반사실이 모든 라쇼몬 모델에서 목표 점수 t 이상을 달성하려면 ˆθᵀx_c − √(2ε)·‖x_c‖{H^{-1}} ≥ t 를 만족하면 된다. 이 제약을 원래 최소 거리 목적에 결합하면, 목표는
min‖x_c−x_0‖² s.t. ˆθᵀx_c − √(2ε)·‖x_c‖_{H^{-1}} ≥ t
이라는 이차 제한 이차 계획(QCQP) 문제가 된다. QCQP는 볼록 최적화이며, 저자들은 gradient‑based 방법으로 효율적으로 해결한다.

핵심 기여는 네 가지이다. 첫째, 헤시안 기반 타원형 근사를 이용해 라쇼몬 집합 전체에 대한 최악‑모델을 정확히 구함으로써 강건성에 대한 이론적 보장을 제공한다. 둘째, 최악‑모델 해가 헤시안의 고유벡터와 정렬되는 형태이므로, 중요한 피처 축을 자연스럽게 강조한다는 기하학적 직관을 제시한다. 셋째, ℓ₂ 거리 외에 혼합 거리(연속·범주형 피처 가중치)를 포함한 다양한 피처 제약(불변, 희소성, 범위 제한)을 손쉽게 통합한다. 넷째, 다중 고위험 탭형 데이터셋(신용, 의료, 보험 등)에서 기존 로컬 파라미터 변동 기반 방법이나 MILP 기반 강건 방법보다 1~3 오더 규모로 빠르면서도, 반사실의 근접성·실현 가능성을 유지하고, 라쇼몬 집합 내에서의 성공률을 크게 향상시킨다.

실험에서는 라쇼몬 파라미터 ε를 다양하게 조정해 타원형 근사의 크기를 제어했으며, ε가 커질수록 기존 방법은 성공률이 급격히 떨어지는 반면 ElliCE는 제약식에 의해 자동으로 더 보수적인 변화를 제시한다. 또한, 사용자 지정 피처 가중치를 적용해 “소득만 변경” 혹은 “연령은 고정” 같은 실무 제약을 만족시키면서도 목표 점수를 달성한다. 계산 시간 측면에서는, QCQP를 직접 풀거나 근사 gradient descent를 사용해도 수 밀리초 수준으로, 기존 MILP 기반 방법이 수 초~수 분을 소요하는 것에 비해 현저히 빠르다.

이러한 결과는 라쇼몬 효과를 단순히 모델 불확실성으로 보는 것이 아니라, 근접 최적 모델들의 기하학적 구조를 활용해 설명을 설계할 수 있는 새로운 패러다임을 제시한다는 점에서 의의가 크다. 특히, 헤시안 기반 타원형 근사는 모델이 복잡해도 (예: MLP의 마지막 레이어 파라미터) 적용 가능하므로, 실제 산업 현장에서 모델 교체·재학습이 빈번한 상황에 바로 적용할 수 있다.