FIRE: 다중정밀도 회귀를 위한 분포조건 인컨텍스트 학습

초록

FIRE는 사전 학습된 테이블형 기초 모델(TFM)을 활용해 고정밀도(High‑Fidelity)와 저정밀도(Low‑Fidelity) 데이터를 결합하는 훈련‑프리 다중정밀도 회귀 프레임워크이다. 저정밀도 모델의 사후 예측 분포(평균, 분산, 분위수)를 요약해 고정밀도 잔차 모델의 컨텍스트로 제공함으로써 이질성(heteroscedastic) 오류를 효과적으로 보정한다. 31개의 벤치마크에서 기존 GP‑기반 및 딥러닝 기반 방법보다 정확도·불확실성·실행 시간 측면에서 우수한 성능을 보였으며, 주요 제약은 컨텍스트 윈도우 크기와 사전 학습된 TFM의 품질에 의존한다는 점이다.

상세 분석

FIRE는 기존 다중정밀도 회귀에서 흔히 발생하는 데이터 불균형과 비중첩 입력 문제를 근본적으로 해결한다. 먼저, 저정밀도 데이터 전체를 하나의 집합 D_LF 로 통합하고, 사전 학습된 TabPFN(TFM) f_θ 를 인컨텍스트 학습에 사용해 각 고정밀도 입력 x_HF에 대해 사후 예측 분포 p(y|x_HF, D_LF) 를 추정한다. 여기서 평균 μ_θ(x), 분산 σ²_θ(x), 그리고 0.1~0.9 분위수 집합 Q를 요약값으로 추출한다. 이러한 분포 요약은 저정밀도 모델의 불확실성을 정량화하고, 입력‑의존적 이질성(heteroscedasticity)을 명시적으로 드러낸다.

다음 단계에서는 고정밀도 관측 y_HF와 저정밀도 평균 μ_θ(x_HF) 사이의 차이인 잔차 r = y_HF − μ_θ(x_HF)를 목표 변수로 삼는다. 잔차 모델 δ_ϕ 역시 동일한 TFM 구조를 사용하지만, 입력 벡터를 z_aug =