설명 가능한 감성 분석을 위한 DeepSeek‑R1 성능·효율·Few‑Shot 학습 종합 평가

초록

본 논문은 오픈소스 추론 모델 DeepSeek‑R1을 GPT‑4o·GPT‑4o‑mini와 비교해 5‑class 아마존 리뷰, 이진 IMDB, 27‑class GoEmotions 데이터셋에서 정확도·F1·추론 속도·설명 가능성을 종합적으로 평가한다. 5‑shot 상황에서 DeepSeek‑R1은 91.39 % F1와 99.31 % 이진 정확도를 달성해 GPT‑4o 대비 8배 빠른 few‑shot 효율을 보이며, 32 B Qwen2.5 기반 변형이 70 B Llama 기반 변형보다 6.69 %p 우수함을 확인한다. 단계별 추론 텍스트를 제공해 투명한 설명을 가능하게 하지만, 토큰 처리량은 다소 낮다.

상세 분석

본 연구는 최신 LLM이 감성 분석에 적용될 때 정확도·연산 효율·설명 가능성 사이의 트레이드오프를 정량화하려는 시도로, 특히 “추론 기반” 모델인 DeepSeek‑R1의 고유 특성을 집중 조명한다. 먼저 모델 포트폴리오를 671 B 전체 모델과 8 B, 14 B, 32 B, 70 B 네 가지 증류 변형으로 구성하고, 각각을 OpenAI의 GPT‑4o·GPT‑4o‑mini와 동일한 프롬프트와 시스템 프롬프트 템플릿을 사용해 평가하였다. 시스템 프롬프트는 “감성 등급과 설명을 JSON 형태로 반환”하도록 설계돼, 모든 모델이 동일한 출력 포맷을 따르게 함으로써 비교의 공정성을 확보했다.

실험 결과는 크게 네 가지 차원에서 의미 있는 인사이트를 제공한다. 첫째, Few‑Shot 학습 효율에서 DeepSeek‑R1은 5‑shot만으로도 91.39 % F1(5‑class)와 99.31 % 정확도(이진) 를 달성했으며, 이는 GPT‑4o가 동일 성능에 도달하기 위해 필요했던 40‑shot 대비 8배 적은 샷 수다. 이는 모델이 사전 학습 단계에서 “추론(Chain‑of‑Thought) 능력”을 강화했기 때문으로 해석된다. 둘째, 아키텍처 별 증류 효과가 파라미터 수와는 독립적으로 나타났다. 32 B Qwen2.5 기반 변형은 70 B Llama 기반 변형보다 F1가 6.69 %p 높았으며, 이는 최신 아키텍처가 토큰‑레벨 표현력과 추론 흐름을 더 효율적으로 압축한다는 증거다. 셋째, 추론 속도와 처리량 측면에서 DeepSeek‑R1은 GPT‑4o‑mini(2 124 t/s)와 GPT‑4o(1 220 t/s)에 비해 334 t/s에 그쳤다. 이는 단계별 사고 과정을 텍스트로 출력하면서 발생하는 토큰 오버헤드(≈730 tokens) 때문이며, 실제 서비스 적용 시 비용·시간 트레이드오프를 고려해야 함을 시사한다. 넷째, 설명 가능성 측면에서 DeepSeek‑R1은 “생각 과정”을 그대로 노출함으로써 사용자가 모델의 판단 근거를 직접 검증할 수 있다. 반면 GPT‑4o는 요약된 추론만 제공해 사후 분석에 제한이 있다. 혼동 행렬 분석에서도 DeepSeek‑R1은 강도 조정(Strongly Positive/Negative) 구분에서 더 유연한 양방향 오류를 보이며, GPT‑4o는 보수적인 일방향 오류 패턴을 보여 감성 강도 미세 구분에 한계가 있음을 확인했다.

또한, 실험 설계의 엄격함도 주목할 만하다. 데이터는 각각 70 %/30 % 비율로 고정 시드(42) 하에 분할했으며, Few‑Shot 샷은 클래스별 균형을 유지하도록 층화 추출했다. 모든 모델은 동일한 온도·top‑p 설정(1.0)으로 API 호출했으며, 추론 시간은 평균값을, 처리량은 전체 입력·출력 토큰 수 대비 시간으로 계산했다. 이러한 표준화는 결과 재현성을 높이고, 모델 간 비교를 객관화한다.

종합하면, DeepSeek‑R1은 “고성능·고설명성·고비용”이라는 삼위일체 특성을 갖는다. 특히 제한된 라벨 데이터만으로도 높은 정확도를 달성해야 하는 산업 현장(예: 금융 감성 모니터링, 실시간 소셜 미디어 분석)에서 Few‑Shot 효율이 큰 장점이 될 수 있다. 다만, 실시간 서비스나 대규모 배치 처리에서는 토큰 오버헤드가 병목이 될 수 있어, 추론 단계에서 토큰 압축 기법이나 하이브리드(추론+요약) 전략을 도입하는 것이 필요하다.