시대적 최신 질문에 대한 LLM 신뢰성 평가: RECOM 벤치마크와 의미‑어휘 역설

초록

본 논문은 2025년 9월 Reddit에서 수집한 15,000개의 최신 오픈‑도메인 질문과 커뮤니티가 만든 요약 답변으로 구성된 RECOM 데이터셋을 소개한다. Llama‑3.1‑8B, Mistral‑7B, Gemma‑2‑9B, GPT‑OSS‑20B 네 모델을 동일 프롬프트로 응답하게 한 뒤, BLEU·ROUGE 같은 어휘 지표와 BERTScore·MoverScore·코사인 유사도, NLI 기반 논리 일관성 등을 종합적으로 평가한다. 어휘 겹침은 8% 이하인 반면 코사인 유사도는 99% 이상으로, 모델들이 의미는 보존하지만 표현을 크게 바꾸는 ‘의미‑어휘 역설’이 발견된다. 또한 파라미터 규모와 성능 사이에 일관된 상관관계가 없으며, 7B 규모의 Mistral‑7B가 20B 규모 GPT‑OSS‑20B를 앞선다. 논리 모순 비율은 7% 미만으로 낮았다. 연구는 어휘 기반 평가지표의 한계를 강조하고, 의미와 논리를 동시에 고려하는 다차원 평가가 필요함을 주장한다.

상세 분석

이 연구는 최신 시점의 실시간 커뮤니티 데이터를 활용해 LLM의 ‘시대 적합성’과 인간 합의와의 정렬 정도를 정량화한다는 점에서 의미가 크다. 먼저 데이터 수집 단계에서 r/AskReddit 서브레딧의 132,728개 포스트 중 상위 25,000개를 참여도 기준으로 선별하고, 무작위로 15,000개를 샘플링했다. 이렇게 하면 질문 자체가 최신 사건·트렌드와 연결돼 모델의 훈련 시점 이후에 발생한 정보를 요구할 가능성이 높아진다. 참고 답변은 Llama‑3.1‑8B‑Instruct를 이용해 인간 댓글을 요약하도록 설계했으며, 이는 ‘셀프‑정렬’ 편향을 내포하지만, 저자들은 10% 샘플을 인간이 검증해 요약 품질을 확인함으로써 편향을 최소화했다.

모델 응답 생성은 “답변만, 50단어 이하”라는 엄격한 프롬프트를 적용해 길이와 형식의 변동성을 억제했다. 이는 어휘 겹침(BLEU, ROUGE)과 의미 유사도(BERTScore, MoverScore, 코사인) 간의 차이를 명확히 드러내는 데 기여한다. 필터링 단계에서 거부 응답을 제외한 후 11,515개의 질문‑응답 쌍을 각 모델에 대해 확보했으며, 이는 전체 샘플의 76.8%에 해당한다.

평가 결과는 네 가지 차원에서 일관된 패턴을 보인다. 어휘 지표는 BLEU‑1이 0.57%~7.58% 수준으로 극히 낮고, BLEU‑4는 0.06% 이하, ROUGE‑1도 9%~19%에 머문다. 반면 의미 기반 지표는 코사인 유사도가 99.10%99.51%로 거의 포화 상태이며, BERTScore F1도 83.2984.83%로 좁은 범위에 집중된다. MoverScore는 50.92%~53.42%로 어휘와 의미 사이의 중간값을 제공한다. 이러한 ‘의미‑어휘 역설’은 LLM이 인간이 만든 요약과 거의 동일한 의미를 전달하지만, 표면적인 단어 선택에서는 크게 다름을 의미한다.

모델 규모와 성능 사이의 상관관계도 흥미롭다. 7B 파라미터를 가진 Mistral‑7B가 20B GPT‑OSS‑20B보다 모든 지표에서 우수했으며, 특히 BLEU‑1에서 6.17% 대비 3.71%로 차이를 보였다. 이는 파라미터 수보다 아키텍처 설계·훈련 데이터 품질이 정렬에 더 큰 영향을 미친다는 가설을 뒷받침한다.

논리 일관성(NLI) 분석에서는 ‘모순’ 비율이 7% 미만, ‘중립’ 비율이 20% 내외, ‘함의’ 비율이 73% 이상으로 나타났다. 이는 모델이 인간 요약과 크게 충돌하지 않으며, 대부분의 경우 의미를 유지하면서도 새로운 관점을 제시한다는 점을 시사한다.

통계적으로는 Wilcoxon signed‑rank 테스트와 Cohen’s d 효과 크기 분석을 통해 모든 차이가 p<0.001 수준으로 유의함을 확인했으며, 어휘 지표에서 큰 효과(d>1.4)와 의미 지표에서 중간 정도 효과(d≈0.9)를 보고했다. 이는 어휘와 의미가 서로 독립적인 평가 차원임을 정량적으로 입증한다.

결론적으로, 이 논문은 최신 시점의 실시간 질문에 대한 LLM의 응답이 의미적으로는 인간과 높은 정렬을 보이지만, 어휘적 재현성은 낮다는 ‘패러프레이징 중심’ 특성을 드러낸다. 따라서 기존 BLEU/ROUGE 중심의 평가만으로는 LLM의 실제 유용성을 판단하기 어렵고, 의미 유사도와 논리 일관성을 함께 고려하는 다차원 평가 프레임워크가 필요함을 강조한다.