감성 분석을 위한 다중모델 융합 프레임워크 SentiFuse

초록

SentiFuse는 다양한 감성 분석 모델(사전 기반, 전통 머신러닝, 최신 트랜스포머)을 표준화 레이어를 통해 확률 형태로 통합하고, 결정‑레벨, 특징‑레벨, 적응형 융합 전략을 제공한다. 세 개의 대규모 소셜 미디어 데이터셋(Crowdflower, GoEmotions, Sentiment140)에서 실험한 결과, 특히 특징‑레벨 융합이 개별 모델 및 단순 평균 앙상블보다 최대 4% F1 점수 향상을 달성했으며, 적응형 융합은 부정 표현·혼합 감정 등 어려운 사례에서 강인성을 높였다.

상세 분석

본 논문은 감성 분석 분야에서 모델 간 상보성을 체계적으로 활용하기 위한 ‘SentiFuse’라는 프레임워크를 제안한다. 첫 번째 핵심 기여는 표준화 레이어이다. 각 모델이 출력하는 형태가 확률, 점수(−1~1), 로짓 등 다양할 수 있음을 인식하고, 이를 일관된 확률 분포 {p_pos, p_neg, …} 로 변환한다. 변환식은 시그모이드·소프트맥스·스코어‑정규화 등으로 구현돼, 기존 모델 구조를 수정할 필요 없이 바로 연동할 수 있다.

두 번째는 세 가지 융합 전략이다.

1. **결정‑레벨 융합(Decision‑level Fusion)**은 표준화된 확률에 가중 평균을 적용한다. 가중치는 검증 데이터에서 학습된 고정값이며, 간단하지만 모델 간 신뢰도 차이를 반영한다.
2. **특징‑레벨 융합(Feature‑level Fusion)**은 각 모델별 ϕ_i 함수를 통해 추출한 특징 벡터를 연결(concatenation)하고, 메타‑분류기(g) — 예: L2 정규화 로지스틱 회귀 — 를 학습한다. 이 방식은 개별 모델의 내부 표현을 직접 활용해 상호 보완성을 극대화한다. 실험 결과, 가장 높은 정확도·F1을 기록한 것은 바로 이 전략이었다.
3. **적응형 융합(Adaptive Fusion)**은 텍스트 특성 ψ(x) (예: 부정어 존재, 길이, 감정 복합도) 를 기반으로 동적으로 가중치를 재조정한다. 간단한 규칙 기반(예: 부정문에서는 트랜스포머 가중치 상승)과 학습 기반(가중치 예측 네트워크) 두 가지 구현을 제시했으며, 특히 부정·혼합 감정 문장에서 성능 향상이 두드러졌다.

세 번째 기여는 광범위한 실험 설계이다. Crowdflower(14.6k 트윗), GoEmotions(211k 레딧 포스트), Sentiment140(1.6M 트윗) 세 데이터셋에 대해 80‑10‑10 비율로 학습·검증·테스트를 분리하고, Lexicon(VADER), 패턴 기반, TF‑IDF + SVM/XGBoost, BERT·RoBERTa·DistilBERT 등 8개의 베이스 모델을 포함했다. 베이스라인으로는 단순 평균, 신뢰도 가중 평균, 다수결, 중간값 평균, 최대 신뢰도 선택 등 전통적인 앙상블 방식을 사용했다.

주요 결과는 다음과 같다.

• 결정‑레벨 vs. Naïve: 가중 평균이 단순 평균보다 평균 ≈ 1% 정도 향상했지만, 특징‑레벨 융합에 비해 여전히 뒤처졌다.
• 특징‑레벨 융합: 모든 데이터셋에서 최고 정확도(최대 90.71%)와 F1(최대 77.89%)을 달성했으며, ROC‑AUC = 0.856, PR‑AUC = 0.857(Sentiment140)로 기존 최고 모델(BERT AUC = 0.837)보다 현저히 우수했다.
• 적응형 융합: 부정문·혼합 감정·짧은 텍스트에서 결정‑레벨보다 평균 ≈ 2% 정도 높은 정확도를 보였으며, 특히 부정어가 포함된 문장에서 트랜스포머 가중치를 상승시켜 오류를 크게 감소시켰다.

한계점도 명시한다. 표준화 과정에서 점수‑로그잇 변환 시 캘리브레이션 오류가 발생할 수 있으며, 특징‑레벨 융합은 메타‑분류기 학습에 추가 라벨이 필요해 데이터가 부족한 도메인에서는 과적합 위험이 있다. 또한 적응형 융합의 규칙 기반 가중치 설계가 도메인‑특정 지식에 의존하므로, 완전 자동화된 가중치 학습이 향후 과제로 남는다.

향후 연구는 (1) 캘리브레이션 기법(예: 온도 스케일링) 적용으로 표준화 정확도 향상, (2) 메타‑분류기의 비선형 모델(예: Gradient Boosting, 작은 MLP) 도입, (3) 다언어·다도메인 확장을 위한 전이 학습 기반 적응형 가중치 네트워크 개발을 제안한다.

전반적으로 SentiFuse는 “모델‑중립적”, “다중‑레벨 융합”, “텍스트 특성 기반 적응”이라는 세 축을 갖춘 실용적인 프레임워크이며, 감성 분석뿐 아니라 다른 텍스트 분류 작업에도 일반화 가능함을 보여준다.