대규모 모델 성능 예측을 위한 통계‑에이전트 융합 프레임워크 STAR

초록

STAR는 기존 통계 모델의 한계인 패턴 변동·데이터 희소성·설명 부족을 보완하기 위해, 외부 문헌·모델 카드 등을 검색해 얻은 의미적 특징을 CPMF에 결합하고, 기대위반이론(EVT)을 기반으로 한 에이전트 추론으로 예측을 조정한다. 실험 결과 95% 마스킹 상황에서 기존 최강 통계 방법 대비 14.46% 점수 향상을 달성한다.

상세 분석

본 논문은 대규모 언어·멀티모달 모델의 벤치마크 점수를 제한된 관측만으로 예측하는 문제를 ‘통계 기대값’과 ‘지식 기반 에이전트 추론’의 두 축으로 접근한다. 첫 단계에서는 Historical Memory에 저장된 과거 성능 행렬과 모델·벤치마크 메타데이터를 기반으로, 특수 설계된 두 개의 Retriever(모델·벤치마크 전용)를 통해 최신 논문, 모델 카드, 커뮤니티 피드백 등을 자동 수집한다. 수집된 텍스트는 텍스트 인코더로 임베딩되어 고차원 의미 벡터(g_m, h_n)로 변환되고, 이는 Constrained Probabilistic Matrix Factorization(CPMF)에 투영 행렬(X, Y)을 통해 잠재 요인 U, V에 선형 보정으로 추가된다. 이렇게 확장된 CPMF는 관측된 점수의 희소성을 완화하고, 의미적 특성을 반영해 보다 정교한 ˆR_mn을 산출한다.

불확실성 추정은 No‑U‑Turn Sampler(NUTS)를 이용한 MCMC 샘플링으로 수행되며, 각 예측에 대한 σ_mn을 제공한다. σ가 클수록 통계적 기대값에 대한 신뢰도가 낮다고 판단하고, 이후 EVT‑guided Reasoning 단계에서 의미 기반 조정을 강화한다. 이 단계는 두 단계 분석으로 구성된다. 첫째, intra‑family analysis에서는 동일 모델 패밀리 내 이전 버전들의 실제 점수와 구조적 변화를 비교해 기대값이 패밀리 트렌드와 일치하는지 검증한다. 둘째, cross‑model comparison에서는 성능 유사 모델(C_m)을 선정해 공유 벤치마크 상의 실제 점수와 ˆR_mn을 대조한다. 두 분석 결과와 외부 증거의 신뢰도(출처 권위, 일관성, σ_mn) 를 종합해 조정량 Δ_mn과 가중치 c_mn을 산출하고, 자연어 형태의 설명 E_mn을 생성한다. 최종 예측은 ˜R_mn = ˆR_mn + c_mn·Δ_mn 로 정의되며, 이는 인간이 기대 위반 시 신뢰도에 따라 믿을만한 증거를 반영하는 EVT 원리를 그대로 모델링한 것이다.

실험에서는 OpenCompass 데이터셋(285 모델·28 벤치마크)에서 95% 마스킹(극단적 희소성)과 벤치마크 측면 패턴 변동을 적용하였다. 평가 지표는 RMSE, MAE 등 점수 기반과 SRCC, KRCC, MAE@3 등 순위 기반을 포함한다. STAR는 모든 지표에서 기존 통계 방법(PCA, Regression, PMF, NCF) 및 순수 LLM 기반(Pure LLM, LLM‑RAG)보다 우수했으며, 특히 총점(Total)에서 67.10을 기록해 두 번째로 높은 Semantic‑Augmented CPMF(64.05)를 크게 앞섰다. 조정 단계에서 생성된 설명은 모델 개발자와 정책 입안자가 예측 근거를 검증하는 데 활용 가능하도록 설계되었다.

핵심 기여는 (1) 기대위반이론을 예측 프레임워크에 최초 적용해 통계와 의미 추론을 원리적으로 연결한 점, (2) 의미 임베딩을 CPMF에 통합해 콜드‑스타트와 패턴 변동에 강인한 예측 모델을 제시한 점, (3) 불확실성 기반 조정과 신뢰도 가중치를 통해 설명 가능한 예측을 제공한 점이다.