LLMScholarBench: 물리학 전문가 추천을 위한 LLM 감사와 개입 평가

초록

LLMScholarBench는 학술 전문가 추천 작업을 위한 벤치마크로, 모델 규모·접근성·추론 능력 등 인프라 조건과 온도 조절, 제약 프롬프트, 검색 기반 생성(RAG) 같은 사용자 개입을 동시에 평가한다. 물리학 분야 22개 LLM을 대상으로 9가지 기술·사회 지표를 측정한 결과, 개입은 전반적인 성능을 일괄 개선하기보다 오류를 다른 차원으로 재분배한다는 점을 확인했다. 높은 온도는 정확도·일관성을 저하시켰고, 제약 프롬프트는 다양성을 높였지만 사실성에 손해를 보았으며, RAG는 기술적 품질을 향상시키지만 다양성과 형평성을 감소시켰다.

상세 분석

본 논문은 LLM 기반 학자 추천 시스템이 실제 서비스 환경에서 어떻게 동작하는지를 체계적으로 파악하기 위해 두 축의 평가 프레임워크를 설계했다. 첫 번째 축은 ‘기술적 품질’로, 모델이 반환하는 추천 리스트의 유효성(validity), 중복성(duplicates), 일관성(consistency), 정확도(accuracy), 그리고 거부율(refusals)을 측정한다. 두 번째 축은 ‘사회적 대표성’으로, 공동저자 네트워크 내 연결성(connectedness), 학술적 유사성(bibliometric similarity), 인구통계적 다양성(diversity), 그리고 형평성(parity)을 포함한다. 이러한 지표는 물리학 분야의 APS 데이터베이스와 OpenAlex 메타데이터를 결합해 구축한 ‘골드 스탠다드’ 레퍼런스와 비교함으로써 객관적인 정량 평가가 가능하도록 했다.

22개의 LLM은 파라미터 규모(소형<10B, 중형10‑50B, 대형50‑400B, 초대형≥400B), 접근 방식(오픈·프롭라이어터리), 그리고 추론 능력(표준·체인오브-사고)으로 구분되었다. 각 모델마다 온도(t) 파라미터를 사전 탐색해 사실 정확도가 최대가 되는 최적 온도를 선정했으며, 이후 동일한 온도 설정을 기본값으로 사용해 실험을 진행했다. 이는 모델 간 비교 시 온도에 의한 변동성을 최소화하기 위한 설계이다.

세 가지 사용자 개입은 각각 다른 메커니즘으로 오류를 재분배한다. 온도 상승은 출력 다양성을 높이는 대신, 잘못된 학자 이름(허위명)과 일관성 저하를 초래한다. 이는 ‘창의성 vs. 신뢰성’ 트레이드오프가 학자 추천에서도 그대로 적용된다는 점을 시사한다. 제약 프롬프트는 성별·인종 다양성을 목표로 명시적 가이드라인을 삽입하지만, 모델이 제한된 후보군에 머무르면서 사실적 정확도가 떨어진다. 특히 고위험 분야(예: 1950년대 물리학)에서는 잘못된 인용이나 비현실적 경력 설명이 증가한다. 마지막으로 RAG는 최신 웹 검색 결과를 활용해 사실성(accuracy)과 거부율 감소에 크게 기여하지만, 검색 엔진이 주로 영어·서구권 논문을 우선시하기 때문에 기존의 다양성 지표와 형평성이 감소한다. 즉, 기술적 품질 향상이 사회적 대표성 손실로 이어지는 구조적 갈등이 존재한다.

모델 자체의 특성도 중요한 변수다. 초대형 모델은 전반적으로 높은 정확도와 낮은 거부율을 보였지만, 규모가 커질수록 ‘과잉 일반화’ 현상이 나타나 다양성 지표가 오히려 낮아졌다. 오픈 모델은 프롭라이어터리 모델에 비해 비용 효율성은 좋지만, 최신 학술 데이터 접근성에서 차이가 나며, 이는 RAG 적용 시 검색 결과의 품질 차이로 이어졌다. 추론 능력이 강화된 모델(예: 체인오브-사고)에서는 일관성(consistency) 점수가 상승했지만, 복잡한 프롬프트에 대한 거부율이 미세하게 증가하는 현상이 관찰되었다.

전체적으로 이 연구는 LLM 기반 학자 추천 시스템이 ‘기술적 정확성’과 ‘사회적 형평성’ 사이에서 복합적인 트레이드오프를 겪으며, 사용자 개입이 단순히 성능을 끌어올리는 것이 아니라 오류를 재배치한다는 중요한 통찰을 제공한다. 향후 시스템 설계자는 이러한 상호작용을 명시적으로 모델링하고, 목표 지표에 따라 개입 전략을 선택해야 함을 강조한다.