싱글라리티 기반 파운데이션 모델 불확실성 추정

초록

본 논문은 대규모 파운데이션 모델의 에피스테믹 불확실성을 효율적으로 추정하기 위해 Singular Value Ensemble(SVE)이라는 새로운 암시적 앙상블 방식을 제안한다. 사전 학습된 가중치 행렬을 SVD로 분해하고, 특이벡터는 고정한 채 각 앙상블 멤버마다 특이값만을 학습함으로써 파라미터 오버헤드를 1% 이하로 유지하면서도 깊은 앙상블에 필적하는 캘리브레이션 성능을 달성한다. NLP와 비전 분야의 다양한 백본 및 데이터셋에서 정확도와 불확실성 정량화 모두에서 우수함을 보였다.

상세 분석

SVE는 파운데이션 모델의 가중치 행렬을 특이값 분해(SVD)하여 (W = U\Sigma V^\top) 형태로 표현한다. 여기서 (U)와 (V)는 각각 입력·출력 공간의 정규 직교 기저이며, 논문은 이 기저가 모델이 사전 학습 과정에서 획득한 “지식 방향”이라고 가정한다. 기존의 파라미터 효율적 파인튜닝 기법(LoRA, Adapter 등)은 새로운 저랭크 행렬을 추가하거나 전체 가중치를 미세 조정하지만, SVE는 이러한 기저를 완전히 고정하고 오직 특이값 (\Sigma)만을 멤버별로 재학습한다. 특이값은 각 기저 방향의 기여도를 스케일링하는 역할을 하므로, 멤버마다 서로 다른 스케일링을 적용하면 동일한 지식 베이스 위에 서로 다른 함수적 행동을 만들 수 있다.

다양성 확보를 위해 각 멤버의 초기 특이값은 원본 특이값에 작은 가우시안 노이즈를 곱해 초기화한다((\Sigma^{(m)} = \Sigma \odot (1+\epsilon^{(m)}))). 이때 노이즈는 특이값 크기에 비례하도록 설계돼, 중요한 방향은 크게 변형되지 않으면서도 미세한 차이를 유도한다. 학습 과정에서는 미니배치 샘플링과 SGD의 확률적 특성 때문에 멤버마다 서로 다른 최적점에 수렴하게 되며, 이는 전통적인 독립 모델 앙상블이 제공하는 다양성과 유사한 에피스테믹 불확실성을 제공한다.

파라미터 효율성 측면에서, 각 레이어당 학습해야 할 파라미터 수는 (\min(m,n))개의 특이값 벡터뿐이다. 이는 LoRA와 같은 저랭크 적응 방식이 요구하는 (d \times r) 매개변수(보통 수천~수만)보다 몇 배에서 몇 십 배까지 적다. 실험에서는 전체 모델 파라미터 대비 0.5%0.9% 수준의 추가 파라미터만으로 48 멤버 앙상블을 구현했다. 메모리 사용량과 연산량이 크게 증가하지 않아, 단일 GPU 환경에서도 대규모 모델(예: LLaMA‑2‑7B) 위에 바로 적용 가능하다.

성능 평가에서는 캘리브레이션 오류(ECE), Brier Score, 그리고 OOD 탐지 AUROC 등을 사용했다. 비전 분야에서는 DINOv2, CLIP, ViT 백본을, NLP 분야에서는 BERT와 LLaMA‑2‑7B를 대상으로 Flowers102, CIFAR‑100, DTD, Oxford Pets, ARC‑Easy, SST‑2 등 다양한 데이터셋에서 실험했다. 결과는 SVE가 동일한 멤버 수를 가진 전통적인 딥 앙상블과 거의 동일한 ECE 감소를 보였으며, 정확도는 미세하게 감소하거나 유지되는 수준이었다. 특히 OOD 상황에서의 불확실성 추정이 크게 향상돼, 기존 MC‑Dropout이나 LoRA‑Ensemble보다 높은 AUROC를 기록했다.

한계점으로는 특이값만을 조정하는 것이 모든 종류의 모델 변형을 포착하지 못할 수 있다는 점이다. 예를 들어, 비선형 활성화 함수 뒤의 복잡한 상호작용은 특이값 스케일링만으로는 충분히 표현되지 않을 가능성이 있다. 또한 SVD 자체가 큰 행렬에 대해 비용이 높으며, 사전 분해 단계가 필요해 초기 설정 시간이 요구된다. 향후 연구에서는 동적 랭크 선택, 특이벡터의 부분적 미세조정, 혹은 SVD와 저랭크 업데이트를 혼합하는 하이브리드 방식을 탐색할 여지가 있다.