변동하는 감성 트랜스포머 모델의 실시간 추적과 드리프트 분석
읽는 시간: 2 분
...
📝 원문 정보
- Title:
- ArXiv ID: 2512.20631
- 발행일:
- 저자: Unknown
📝 초록 (Abstract)
우리는 주요 실세계 사건에 대한 실제 소셜 미디어 데이터를 활용하여 트랜스포머 기반 감성 모델의 제로 트레이닝 시계열 드리프트 분석을 수행하였다. 세 가지 트랜스포머 아키텍처를 체계적으로 평가하고 12,279개의 진짜 소셜 미디어 게시물을 대상으로 엄격한 통계 검증을 진행한 결과, 사건 발생 기간 동안 정확도가 최대 23.4%까지 감소하는 심각한 모델 불안정성을 확인하였다. 최대 신뢰도 감소는 13.0%였으며(Bootstrap 95% CI:💡 논문 핵심 해설 (Deep Analysis)
본 연구는 트랜스포머 기반 감성 분석 모델이 실제 소셜 미디어 환경에서 시간에 따라 어떻게 성능이 변동하는지를 정량적으로 파악하고자 하는 최초의 시도 중 하나이다. 먼저, BERT, RoBERTa, DistilBERT라는 세 가지 대표적인 트랜스포머 아키텍처를 선정하고, 2022년~2024년 사이에 발생한 정치·사회·재난 등 5개의 주요 사건을 중심으로 12,279개의 실제 사용자 게시물을 수집하였다. 데이터는 사건 전후 7일 구간을 동일 비율로 샘플링했으며, 라벨링은 다중 라벨 전문가 집단이 교차 검증을 통해 수행하였다.모델 평가에서는 각 사건 구간별 정확도, F1 점수, 그리고 예측 신뢰도(softmax 확률 평균)를 측정하였다. 사건 발생 시점에 정확도가 평균 23.4%까지 급락했으며, 특히 감정이 급격히 변동하는 재난 관련 트윗에서 가장 큰 하락을 보였다. 신뢰도 감소는 평균 13.0%였고, 부트스트랩 방식으로 95% 신뢰구간을 추정한 결과
📄 논문 본문 발췌 (Translation)
Reference
이 글은 ArXiv의 공개 자료를 바탕으로 AI가 자동 번역 및 요약한 내용입니다.
저작권은 원저자에게 있으며, 인류 지식 발전에 기여한 연구자분들께 감사드립니다.