범용 신경 가능도 추론을 위한 ASPIRE 모델

초록

본 논문은 다양한 도메인과 이질적인 테이블 데이터를 대상으로, 단일 모델이 임의의 특성 집합을 조건으로 임의의 목표 변수에 대한 정규화된 조건부 가능도(확률밀도)를 예측하도록 설계된 UNLI(Universal Neural Likelihood Inference) 프레임워크와 이를 구현한 ASPIRE(Arbitrary Set‑based Permutation‑Invariant Reasoning Engine) 모델을 제안한다. 1,400여 개의 실제 데이터셋으로 사전 학습한 ASPIRE는 제로샷·소수샷·다수샷 상황 모두에서 기존 탭ular foundation model 대비 F1 점수 15 % 향상, RMSE 85 % 감소를 달성했으며, 열린 세계(active feature acquisition)에서도 효과적인 다음 관측 특성 선택을 가능하게 한다.

상세 분석

ASPIRE는 UNLI라는 새로운 목표를 정의함으로써 기존 탭ular foundation model이 갖는 한계를 체계적으로 극복한다. 첫 번째로, 임의의 특성 집합을 조건으로 하는 ‘Arbitrary Conditioning’ 능력을 갖추기 위해, 모든 특성을 고유한 텍스트 메타데이터와 연결한다. 이는 “age”, “BMI” 등 동일한 값이라도 의미에 따라 다른 임베딩을 생성하도록 설계된 ‘Atom Processing’ 단계에서 구현된다. 두 번째로, 입력 순서에 무관한 ‘Permutation‑Invariant’ 특성을 보장하기 위해 DeepSets와 Set Transformer의 아이디어를 계층적으로 결합한다. 인스턴스 수준에서는 각 특성‑값 쌍을 ‘atom’으로 변환한 뒤, 집합‑투‑집합 매핑을 통해 순열에 강인한 표현을 만든다. 또한, 지원 집합(support set)과 데이터셋 메타컨텍스트를 별도의 집합으로 처리함으로써, 지원 샷이 존재할 경우에도 순열 등변성을 유지한다. 세 번째로, ‘Semantic Grounding’은 자연어 기반 특성 설명과 데이터셋 설명을 텍스트 토큰화하여 모델에 제공함으로써, 서로 다른 스키마 간 의미 정렬을 가능하게 한다. 이는 특히 의료·환경·사회경제 등 도메인이 서로 다른 데이터셋을 하나의 모델이 학습하고 추론하도록 하는 핵심 메커니즘이다. 네 번째로, UNLI 손실 함수는 목표 변수의 원시 확률밀도(pmf 또는 pdf)를 직접 최대화한다. 기존 방법이 목표를 이산화하거나 점 추정에 머무는 반면, ASPIRE는 연속형 목표에 대해 정규화된 확률밀도 함수를 출력한다. 이는 불확실성 정량화와 다중 모드 예측을 자연스럽게 지원한다. 다섯 번째로, 학습 단계에서는 ‘Task Distribution’이라는 메타‑샘플링 전략을 도입한다. 각 배치마다 무작위 데이터셋, 관측 특성 집합, 목표 특성, 지원 샷 수(0~5)를 샘플링해 모델이 다양한 상황에 노출되도록 함으로써 제로샷·소수샷·다수샷 모두에 일반화될 수 있게 한다. 실험 결과, 1,400개 이상의 실제 데이터셋(의료, 금융, 환경 등)에서 ASPIRE는 기존 TabPFN, LimiX, TabLLM 등과 비교해 평균 F1 점수 15 % 상승, RMSE 85 % 감소를 기록했다. 특히, 제로샷 상황에서의 성능 격차가 가장 크게 나타났으며, 이는 메타‑컨텍스트와 특성 메타데이터가 효과적으로 일반화되었음을 의미한다. 마지막으로, ‘Open‑World Active Feature Acquisition’ 시나리오에서 ASPIRE는 현재 관측된 특성 집합과 목표 변수에 대한 불확실성을 기반으로, 다음에 관측할 최적의 특성을 선택한다. 이는 기존의 비용‑효율적인 데이터 수집 전략과 결합해 실시간 의사결정 지원 시스템에 바로 적용 가능하다. 전체적으로 ASPIRE는 UNLI라는 새로운 문제 정의와, 이를 실현하기 위한 집합‑기반, 의미‑정합, 확률‑직관적 설계를 통해 탭ular 데이터에 대한 범용 인공지능 모델의 가능성을 크게 확장한다.