제로샷 탭형 이상치 탐지를 위한 OUTFORMER 혁신

초록

OUTFORMER는 합성 데이터의 다양한 사전 분포와 자체 진화형 커리큘럼 학습을 결합한 탭형 이상치 탐지 전용 파운데이션 모델이다. 합성 라벨 데이터만으로 사전 학습하고, 테스트 데이터의 훈련 샘플을 컨텍스트로 제공하면 단일 포워드 패스로 레이블을 예측한다. 기존 FO​MO‑0D 대비 10% 이상 성능 향상을 보이며, 1 500개가 넘는 벤치마크에서 SOTA를 달성하고 추론 지연도 크게 낮춘다.

상세 분석

OUTFORMER는 기존 PFN(Pre‑trained Prior‑fitted Network) 구조를 기반으로 하면서 두 가지 핵심 혁신을 도입한다. 첫 번째는 **혼합 합성 사전(Mixed Synthetic Priors)**이다. 저자들은 인라이어 생성에 GMM, 구조적 인과 모델(SCM), 코퓰라(Copula) 세 가지 확률 모델을 결합하고, 각각에 대응하는 다섯 종류의 아웃라이어 아키타입(서브스페이스, 구조, 의존, 확률, 측정)을 설계했다. 이러한 다변량 사전은 실제 탭형 데이터가 보이는 복합적인 분포와 상관관계를 모사하도록 설계돼, 단일 GMM 기반 사전보다 교차‑도메인 일반화가 크게 향상된다. 실험 테이블 2에서 단일 사전으로 학습한 모델은 해당 사전 내에서는 높은 성능을 보이지만, 다른 사전에 대한 전이 성능이 급격히 떨어지는 반면, 혼합 사전으로 학습한 OUTFORMER는 전반적인 평균 성능과 안정성이 모두 우수함을 확인한다.

두 번째 혁신은 **자체 진화형 커리큘럼 학습(Self‑evolving Curriculum)**이다. 다양한 차원, 샘플 수, 아웃라이어 비율을 가진 데이터셋을 무작위로 섞어 학습하면 학습 동역학이 불안정해지는 문제가 있었는데, 이를 해결하기 위해 저자들은 멀티‑아밍드 밴딧(Multi‑Armed Bandit) 프레임워크를 도입했다. 각 ‘팔’은 특정 사전·차원·난이도 조합을 나타내며, 현재 모델의 손실 기반 보상 함수를 통해 쉬운 데이터와 어려운 데이터를 균형 있게 선택한다. 이 과정은 사전 정의된 난이도 순서 없이 자동으로 진행되며, 학습 초기에 쉬운 샘플을, 중간 단계에서는 점진적으로 복잡한 샘플을 제공함으로써 모델이 기초적인 통계 학습에서 고차원 인과 구조까지 단계적으로 습득하도록 만든다. 실험 결과, 동일한 데이터량을 사용했을 때 밴딧 기반 커리큘럼이 없는 ‘Vanilla’ 학습보다 평균 AUC가 4~6% 상승한다.

모델 아키텍처는 기존 TabPFN과 유사한 트랜스포머 기반이며, 컨텍스트 크기 제한을 완화하기 위해 샘플링 앙상블과 특징 bagging을 적용한다. 테스트 시에는 여러 개의 컨텍스트 서브셋을 무작위로 추출하고, 각각에 대해 독립적인 포워드 패스를 수행한 뒤 평균 확률을 취한다. 이는 대규모 n·d 상황에서도 메모리 오버플로우를 방지하고, 앙상블 효과로 성능 변동성을 감소시킨다.

성능 평가에서는 기존 FO​MO‑0D와 최신 OD 메소드(DTE‑NP, IForest 등)를 포함한 30여 개 베이스라인과 비교했다. ADBench에서는 평균 순위 4.02±2.6으로 1위에 근접했으며, 승률(Win/Lose/Tie) 비율이 0.71/0.32/0.00으로 가장 높은 승률을 기록했다. 또한 저자들이 새로 제시한 두 개의 대규모 벤치마크(총 1 446개 데이터셋)에서도 전체 평균 AUC가 0.956±0.06으로 가장 높은 수준을 유지했다. 추론 시간 측면에서도 10%~90% 분위수 구간이 기존 깊은 모델보다 현저히 짧아, 실시간 혹은 대규모 배치 환경에 적합함을 입증했다.

한편 제한점도 존재한다. 합성 사전은 실제 도메인 특성을 완전히 대변하지 못할 수 있으며, 특히 시계열·이미지·텍스트와 결합된 멀티모달 탭형 데이터에는 적용이 어려울 것으로 보인다. 또한 컨텍스트 크기 제한은 매우 고차원(수천 차원) 데이터에 대해 샘플링 비율을 낮추어 정보 손실을 야기할 가능성이 있다. 향후 연구에서는 실제 라벨이 있는 소규모 데이터셋을 활용한 도메인 적응 기법과, 프롬프트 엔지니어링을 통한 사전 조정, 그리고 멀티모달 PFN 확장이 기대된다.