작업 복잡도에 따른 LLM 추론 효과: 감성 분석 실증 연구

초록

본 논문은 7개 모델군 504가지 설정을 대상으로 이진, 5‑클래스, 27‑클래스 감성 분석 데이터에 추론(Thinking)과 비추론(Non‑thinking) 모드를 비교한다. 결과는 추론 효과가 작업 복잡도에 의존함을 보여준다: 이진 분류에서는 F1 점수가 최대 ‑19.9 pp 감소하고, 27‑클래스 감정 인식에서는 +16.0 pp 향상한다. 증류된 추론 모델은 단순 작업에서 기본 모델보다 3‑18 pp 낮으며, few‑shot 프롬프트가 일부 회복한다. 효율‑성능 파레토 분석에서는 복잡한 감정 인식에서만 추론이 정당화되며, 계산 비용은 2.1배‑54배 증가한다.

상세 분석

본 연구는 “추론이 모든 NLP 작업을 향상시킨다”는 기존 가설을 대규모 실험으로 검증한다. 504개의 실험 구성은 7개 모델군(DeepSeek‑R1, DeepSeek‑V3, LLaMA, Qwen2.5, Qwen3, Granite3.3, Magistral)과 3가지 데이터셋(IMDB, Amazon, GoEmotions), 7가지 shot 수준(0‑50‑shot), 그리고 추론·비추론 모드의 조합으로 이루어졌다.

1. 성능 차이: 이진 감성(IMDB)에서는 추론 모델이 기본 모델보다 평균 ‑4.8 pp(표 3) 낮았으며, 5‑클래스(Amazon)에서도 ‑3.6 pp 감소했다. 반면 27‑클래스 감정(GoEmotions)에서는 평균 +2.0 pp 상승했다. 이는 클래스 수가 늘어날수록 복잡한 의사결정 과정이 도움이 된다는 점을 시사한다.
2. 증류 모델 vs. 원본: 증류된 추론 모델은 특히 zero‑shot 상황에서 큰 성능 저하를 보였다(예: DSR1 vs. DSV3, IMDB ‑19.9 pp). few‑shot 프롬프트를 제공하면 격차가 완화되지만, 복잡한 작업에서만 역전이 관찰된다(GoEmotions에서 +3.2~+4.8 pp).
3. 추론 실패율: 표 1에 따르면 작업 복잡도가 낮을수록 추론 모델이 기본 모델보다 열등한 경우가 많다(이진 100%, 5‑클래스 80%, 27‑클래스 50%). 이는 “과도한 사고(over‑deliberation)”가 단순 패턴 매칭을 방해한다는 기존 가설을 실증적으로 뒷받침한다.
4. few‑shot 효과: 대부분의 모델에서 few‑shot이 zero‑shot보다 성능을 끌어올렸다. 그러나 추론 모델은 일부 경우에만 이득을 유지했으며, 특히 Amazon 데이터에서는 추론 모델이 few‑shot에서 오히려 성능이 감소하는 현상이 나타났다(예: Magistral‑24B, Amazon, +12.2 pp → ‑0.9 pp).
5. 효율‑성능 트레이드오프: 추론 모델의 평균 지연 시간은 비추론 모델 대비 2.5×‑54× 증가했으며, 특히 복잡한 감정 인식에서 비용이 크게 늘었다(표 2, 9.2‑54.4×). 파레토 분석(Fig. 1)에서는 비추론 모델이 대부분의 경우 더 좋은 효율‑성능 곡선을 형성했으며, 추론 모델은 고비용·고성능 영역(GoEmotions)에서만 정당화된다.
6. 오버델리베레이션 메커니즘: 정성적 오류 분석에서는 추론 모델이 불필요하게 긴 체인‑오브‑쓰스(chain‑of‑thought)를 생성해 핵심 감성 단서를 희석시키는 현상이 관찰되었다. 이는 “과잉 사고”가 단순 이진 판단에 오히려 잡음을 추가한다는 메커니즘을 구체화한다.
7. 실용적 시사점: 감성 분석과 같은 실시간 서비스에서는 추론 모델 도입이 비용 대비 효과가 낮으며, 대신 few‑shot 프롬프트 설계와 모델 크기 조정이 더 효율적이다. 복잡한 감정 분류(예: 다중 감정 라벨링)에서는 추론이 성능 향상을 가져올 수 있으나, 그때도 계산 비용을 감안한 배포 전략이 필요하다.