베이지안 텐서곱 신경망을 이용한 고차 함수 ANOVA 모델

초록

본 논문은 함수형 ANOVA 모델에 텐서곱 신경망(TPNN)을 기반으로 한 베이지안 추론 프레임워크를 제안한다. 제안된 Bayesian‑TPNN은 구성 요소의 차수를 사전에 지정할 필요 없이 MCMC 기반으로 아키텍처와 파라미터를 동시에 학습함으로써 고차 상호작용을 효율적으로 탐색한다. 이론적 일관성 증명과 다양한 실험을 통해 기존 ANOVA‑TPNN 대비 예측 정확도와 불확실성 추정에서 우수함을 입증한다.

상세 분석

본 연구는 함수형 ANOVA 모델의 해석 가능성을 유지하면서도 고차원 상호작용을 추정하는 데 필요한 계산량을 크게 감소시키는 새로운 베이지안 접근법을 제시한다. 기존 ANOVA‑TPNN은 사전에 최대 차수 d와 각 차수별 네트워크 수 K_S를 지정해야 했으며, 차수가 증가할수록 TPNN의 수가 지수적으로 폭증해 메모리와 연산 비용이 비현실적으로 커졌다. 이를 극복하기 위해 저자들은 아키텍처 자체를 확률 변수로 두고, 노드 수 K와 각 노드가 연결되는 변수 집합 S_k를 포함한 전체 파라미터 공간을 베이지안 프레임워크 안에서 샘플링한다.

핵심 아이디어는 두 단계의 MCMC 제안 메커니즘이다. 첫 번째는 K 의 증감 제안으로, K를 K±1 로 바꾸면서 새로운 노드에 대해 S_{new} 을 ‘무작위’ 혹은 ‘단계적(stepwise)’ 방식으로 생성한다. 단계적 제안은 현재 모델에 존재하는 노드 S_k 에 변수를 하나 추가함으로써 고차 상호작용을 탐색하도록 설계돼, 기존 정보 손실을 최소화하면서도 고차 차원을 효율적으로 탐색한다. 두 번째는 각 S_k 에 대한 ‘추가’, ‘삭제’, ‘변경’ 연산으로, 변수 중요도 사전 p_input(·) 를 활용해 중요한 변수에 더 높은 선택 확률을 부여한다. 이러한 설계는 베이지안 구조 검색이 고차 상호작용을 과도하게 희생하지 않으면서도 탐색 효율을 크게 높인다.

사전 분포는 세 가지 계층으로 구성된다. (1) K 에 대해서는 π(K=k)∝exp(−C₀ k log n) 형태의 감쇠형 포아송-like 분포를 사용해 과도한 노드 수를 억제한다. (2) S_k 는 최대 차수 d 까지의 부분집합을 균등하게 선택하는 혼합 분포와, 변수 추가 확률 p_add(ℓ)=α_add(1+ℓ)^{−γ_add} 를 결합한 베이시안 CART와 유사한 구조를 채택한다. (3) β_k, b_{j,k}, γ_{j,k} 등 연속 파라미터는 각각 정규, 균등, 감마 분포를 부여해 전형적인 베이지안 신경망 사전과 일관성을 유지한다.

이론적 측면에서는 전체 모델과 개별 구성 요소에 대해 posterior consistency를 증명한다. 즉, 데이터 샘플 수 n→∞ 일 때 사후 분포가 진짜 함수 f와 각 f_S 에 수렴한다는 것을 보이며, 이는 함수형 ANOVA의 고유성(uniqueness) 조건과 베이지안 비모수 회귀 이론을 결합한 결과이다.

실험에서는 합성 데이터와 다중 실세계 벤치마크(예: UCI 회귀·분류, 의료 데이터 등)를 사용해 비교하였다. Bayesian‑TPNN은 기존 NAM, NBM, NODE‑GAM, ANOVA‑TPNN 등에 비해 RMSE·MAE·AUC 등 성능 지표에서 일관적으로 우수했으며, 특히 차수가 3 이상인 상호작용을 포함한 데이터셋에서 그 차이가 두드러졌다. 또한, 베이지안 접근 특성상 예측 불확실성을 정량화한 신뢰구간이 잘 캘리브레이션되어, 의사결정에 활용하기에 적합함을 보였다. 마지막으로, 제안된 MCMC 알고리즘의 수렴 속도와 메모리 사용량을 분석한 결과, 고차 상호작용을 모두 미리 정의하는 기존 방법에 비해 약 30%~50%의 연산 시간 절감과 메모리 절감 효과를 확인했다.

전반적으로 이 논문은 함수형 ANOVA 모델에 베이지안 신경망을 도입함으로써, 고차 상호작용 탐색의 계산적 장벽을 낮추고, 이론적 일관성과 실용적 성능을 동시에 만족시키는 중요한 진전을 제시한다.