라벨퓨전: LLM과 트랜스포머 분류기의 융합 학습으로 강인한 텍스트 분류 구현
읽는 시간: 2 분
...
📝 원문 정보
- Title: LabelFusion: Learning to Fuse LLMs and Transformer Classifiers for Robust Text Classification
- ArXiv ID: 2512.10793
- 발행일: 2025-12-11
- 저자: Michael Schlee, Christoph Weisser, Timo Kivimäki, Melchizedek Mashiku, Benjamin Saefken
📝 초록 (Abstract)
LabelFusion은 전통적인 트랜스포머 기반 분류기(RoBERTa 등)와 하나 이상의 대형 언어 모델(LLM, 예: GPT, Gemini, DeepSeek)을 결합해 다중 클래스·다중 라벨 텍스트 분류에서 정확도와 비용 효율성을 동시에 달성하는 융합 앙상블이다. 고수준 인터페이스인 AutoFusionClassifier는 최소 설정만으로 전체 파이프라인을 종단‑끝 학습시키며, 고급 사용자를 위한 유연한 API도 제공한다. 내부적으로는 트랜스포머 백본의 임베딩과 구조화된 프롬프트 엔지니어링을 통해 얻은 LLM 기반 클래스별 점수를 연결(concatenate)하고, 이를 소형 다층 퍼셉트론(FusionMLP)에 입력해 최종 예측을 만든다. 이 학습 기반 융합은 LLM의 추론 능력과 트랜스포머의 빠른 특징 추출을 보완해 AG News에서 92.4%, Reuters‑21578(10‑class)에서 92.3%의 정확도를 기록했으며, 정확도·지연·비용 사이의 실용적 트레이드오프를 가능하게 한다.💡 논문 핵심 해설 (Deep Analysis)
LabelFusion은 이러한 장단점을 보완하기 위해 두 신호를…