상관 이산 선택 모델을 위한 효율적 추론: 군대칭 신경망 기반 암시적 추정기

본 연구는 관리과학·경제학·마케팅 분야에서 널리 활용되는 이산 선택 모델의 핵심 한계인 “계산 비용”을 근본적으로 해결하고자 한다. 전통적인 다항 로짓(MNL)은 효용의 확률적 오류가 독립·동일분포(iid)라는 가정 하에 소프트맥스 형태의 닫힌식 선택 확률을 제공해 계산이 간단하지만, 이로 인해 독립성의 대안 무관성(IIA) 속성이 강제되어 현실적인 대체 패턴을 포착하기 어렵다. 다항 프로빗(MNP)은 오류를 다변량 정규분포로 가정해 상관 구조를 허용하지만, 선택 확률이 다중 적분 형태로 표현돼 GHK 시뮬레이터 같은 복잡한 수치 적분이 필요하고, 이는 대규모 데이터와 고차원 대안 집합에서 실용성을 크게 저해한다. 이러한 배경에서 저자들은 “암시적 추론(amortized inference)”이라는 개념을 도입한다. 구체적으로, 효용 벡터 v 와 오류 공분산 Σ (또는 그 스케일 행렬)라는 입력을 받아 선택 확률 P(Y=j | v, Σ) 을 직접 출력하는 신경망 에뮬레이터 f_θ 를 사전 학습한다. 일단 학습이 완료되면, 추정 단계에서 매번 복잡한 시뮬레이션을 수행할 필요 없이 f_θ 를 호출해 즉시 확률과 그에 대한 미분값을 얻을 수 있다. ### 1. 네트워크 설계와 대칭성 보존 이산 선택 모델은 다음과 같은 불변성을 가진다. - **위치 불변성**: 모든 효용에 동일한 상수 c 를 더해도 선택 확률은 변하지 않는다. - **스케일 불변성**: 효용을 양의 상수 α 로 곱해도 확률은 동일하게 유지된다. - **순열 등변성**: 대안의 순서를 바꾸면 확률 벡터는 동일하게 순열된다. 이를 반영하기 위해 저자들은 먼저 입력 효용 v 를 평균 0 과 표준편차 1 로 정규화하고, 공분산 Σ 를 정규화된 형태(예: 상관 행렬)로 변환한다. 이렇게 전처리된 특징은 대안별로 독립적인 DeepSet 인코더에 전달된다. DeepSet은 “집합 함수”를 구현하기 위해 각 대안의 특징을 개별적으로 변환한 뒤, 합산(pooling) 연산을 통해 순서에 무관한 집합 표현을 만든다. 이 과정에서 순열 등변성이 자동으로 만족된다. 인코더 출력은 다시 전체 대안 차원으로 복원되고, 마지막 레이어에서는 소프트맥스와 유사한 제약을 가해 출력이 0~1 사이이며 합이 1이 되도록 설계한다. ### 2. 이론적 보편 근사성 저자들은 그룹 이론적 관점에서 선택 확률 함수 P(v, Σ) 를 그룹 G (위치·스케일·순열)의 작용에 대한 궤도(orbit) 위의 함수로 본다. 이때 불변 특징 φ(v, Σ) (예: 차이 벡터, 상관 행렬)만을 사용하면 궤도 간 구분이 가능함을 보이며, 이를 기반으로 “불변 재구성(invariant reconstruction)” 논증을 전개한다. 결과적으로, 제한된 불변 특징 집합만으로도 연속적인 선택 확률 함수를 임의의 정밀도로 근사할 수 있음을 증명한다. 이는 기존의 대칭 행렬에 대한 보편 근사 결과(Blum‑Smith 등, 2025)를 선택 모델의 효용·공분산 공간으로 확장한 것이다. ### 3. Sobolev 학습과 그라디언트 매칭 전통적인 로그우도 손실 L(θ)=−∑_i log f_θ(v_i, Σ_i) 만을 최소화하면, 신경망은 확률값 자체만을 맞추려 한다. 그러나 추정 단계에서 파라미터에 대한 정확한 그라디언트가 필요하므로, 저자들은 Sobolev 손실 L_Sob(θ)=L(θ)+λ · ‖∇_θ log f_θ−∇_θ log P‖² 을 도입한다. 여기서 ∇_θ log P 는 시뮬레이션(예: GHK)으로부터 얻은 “진짜” 로그우도의 파라미터 그라디언트이다. 이 추가 항은 에뮬레이터가 확률값뿐 아니라 그라디언트까지 정확히 학습하도록 강제한다. 실험적으로 λ = 0.1~1 범위에서 최적 성능을 보였으며, 이는 추정기의 점근 분산을 정확히 추정하는 데 필수적이다. ### 4. 통계적 성질 및 추정량의 일관성 에뮬레이터가 로그우도 함수를 평균 오차 o_p(n⁻¹) 정도로 근사하면, 에뮬레이터 기반 MLE \hatθ_emp 는 원래 MLE \hatθ 와 동일한 일관성 및 점근 정규성을 가진다: √n(\hatθ_emp−θ₀) → N(0, I⁻¹(θ₀)) 여기서 I(θ₀) 는 Fisher 정보 행렬이다. 근사 오차가 이 조건을 만족하지 않을 경우에도, 에뮬레이터를 “작업 모델”로 간주한 quasi‑MLE 프레임워크를 적용해 샌드위치 표준 오차 \hatV = \hatI⁻¹ \hatJ \hatI⁻¹ 를 사용하면 유효한 추론이 가능함을 증명한다. ### 5. 실험 결과 시뮬레이션에서는 K=5~10개의 대안을 갖는 다변량 정규 오류 MNP 모델을 대상으로, 다양한 공분산 구조(완전 상관, 팩터 구조 등)를 설정했다. 동일한 계산 예산(예: 1초당 10⁴ 시뮬레이션) 하에서 GHK 기반 추정과 비교했을 때, 에뮬레이터 기반 추정은 평균 절대 오차가 30%~50% 감소하고, 95% 신뢰구간 커버리지는 94%~96%로 거의 정확했다. 특히 데이터 규모가 n=10⁴ 이상으로 커질 때, GHK는 시뮬레이션 수가 급증해 실행 시간이 수십 배 늘어나는 반면, 에뮬레이터는 사전 학습 후 거의 즉시 likelihood를 제공해 전체 추정 시간이 5~10배 단축되었다. ### 6. 확장 가능성 및 한계 제안된 프레임워크는 오류 분포가 정규가 아니더라도, 예를 들어 상관 Gumbel이나 t‑분포와 같은 경우에도 학습 데이터 생성만 바꾸면 그대로 적용 가능하다. 또한, 효용 함수가 선형이 아니라 신경망 형태로 비선형화될 경우에도 동일한 아키텍처를 재사용할 수 있다. 다만, 에뮬레이터의 사전 학습 비용이 높은 차원(예: K>100)에서는 학습 데이터 생성과 네트워크 규모가 급증할 수 있어, 차원 축소 기법이나 계층적 구조 설계가 필요하다. 결론적으로, 이 논문은 이산 선택 모델의 구조적 대칭성을 신경망 설계에 명시적으로 통합하고, Sobolev 학습을 통해 확률과 그라디언트를 동시에 정확히 근사함으로써, 상관 오류를 포함한 복잡한 선택 모델을 실용적인 수준으로 끌어올렸다. 이는 기존의 시뮬레이션 기반 추정이 갖는 계산적 병목을 해소하고, 경제학·마케팅·운송 등 다양한 분야에서 보다 정교한 대체 패턴 분석을 가능하게 할 것으로 기대된다.