TabClustPFN 테이블 데이터 클러스터링 사전학습 네트워크

초록

TabClustPFN은 합성 데이터에서 정의한 풍부한 클러스터링 사전을 이용해 사전학습된 트랜스포머 기반 네트워크로, 데이터셋별 재학습 없이 단일 전방패스만으로 클러스터 수와 할당을 동시에 추정한다. 이 모델은 수치·범주형 혼합 특성을 자연스럽게 처리하고, 기존 고전·딥·아모르티제이션 방법보다 높은 정확도와 빠른 추론 속도를 보인다.

상세 분석

본 논문은 테이블형 데이터의 클러스터링 문제에 대해 사전학습 네트워크(PFN) 패러다임을 성공적으로 확장한 점이 가장 큰 공헌이다. 기존 PFN은 지도학습에서 베이지안 사후 예측분포를 근사하는 데 초점을 맞췄으나, 클러스터링은 라벨이 없고 결과가 순열 불변(permutation‑invariant)이라는 추가 제약을 가진다. 이를 해결하기 위해 저자들은 두 개의 모듈, 즉 Cardinality Inference Network(CIN)와 Partition Inference Network(PIN)를 설계하였다.

PIN은 입력 데이터와 후보 클러스터 수 K를 받아서 소프트 할당 행렬 P∈