자동회귀 LLM의 주제 적합성 지식 탐구

초록

본 논문은 자동회귀 대형 언어모델(LLM)이 동사‑명사‑역할 삼중항에 대한 인간 수준의 주제 적합성(테마틱 피트) 판단을 내릴 수 있는지를 다양한 프롬프트 설계와 입력·출력 형태 변형을 통해 검증한다. 폐쇄형 모델(GPT‑4 시리즈)과 개방형 모델(Llama 3.2, Qwen 2.5)을 비교한 결과, 폐쇄형 모델이 전체 점수에서는 최고 성능을 기록했지만, 다단계 추론(step‑by‑step)에서는 개방형 모델이 문장 필터링 능력에서 우위를 보였다.

상세 분석

이 연구는 테마틱 피트 추정 작업을 ‘추론 방식’, ‘입력 형태’, ‘출력 형태’라는 세 축으로 체계화하여 8가지 실험(Exp 1.14.2)을 설계했다. 첫 번째 축인 추론 방식에서는 단일 프롬프트(‘Simple Prompting’)와 단계별 사고(chain‑of‑thought) 방식(‘Step‑by‑Step Prompting’)을 비교했으며, 후자는 논리적 서브스텝(R1R5)을 명시적으로 요구함으로써 모델이 속성‑역할 매핑 과정을 명확히 드러내게 했다. 두 번째 축인 입력 형태는 전통적인 레마 튜플(동사‑명사‑역할)과, LLM이 직접 생성한 문장(k=5) 두 가지를 사용했다. 생성된 문장은 의미 일관성, 동사·명사 포함 여부, 지정 역할 부합 여부를 4단계 필터링 절차를 통해 검증했으며, 필터링에 실패하면 레마 튜플로 되돌아가는 백업 메커니즘을 도입했다. 세 번째 축은 출력 형태로, 연속적인 실수값(0~1)과 사전 정의된 범주(‘Low’, ‘Medium’, ‘High’, ‘Perfect’) 중 선택하도록 했다. 범주형 출력은 후처리 단계에서 수치로 변환돼 스피어만 상관계수(ρ) 계산에 활용되었다.

실험 결과, 폐쇄형 모델(GPT‑4.1, GPT‑4‑Turbo)은 전체적으로 가장 높은 ρ 값을 기록했으며, 특히 Step‑by‑Step + Generated Sentences + Categorical(Exp 4.2) 설정에서 최고 성능을 보였다. 이는 복잡한 추론 과정을 거치면서도 LLM이 생성한 문장을 효과적으로 필터링했기 때문이다. 반면 개방형 모델은 Zero‑shot 성능이 낮았지만, 문장 필터링 단계에서 더 높은 정밀도를 보여, 부적합한 문장을 배제하는 데 강점을 보였다. 또한, 숫자형 출력보다 범주형 출력이 LLM의 불확실성을 완화시켜 평가 지표를 안정화시키는 효과가 확인되었다.

이 논문은 기존 테마틱 피트 연구가 주로 분산 의미 모델이나 SRL 기반의 지도 학습에 의존했던 점을 넘어, 사전 학습된 LLM을 프롬프트만으로 활용하는 새로운 패러다임을 제시한다. 특히, 인간 평가 데이터가 제한적인 상황에서도 LLM이 ‘문맥‑기반’ 지식을 끌어내어 인간 수준의 평가와 유사한 상관관계를 달성할 수 있음을 입증했다. 또한, 폐쇄형·개방형 모델 간의 차별화된 강점(폐쇄형은 전반적 정확도, 개방형은 필터링 정밀도)과 프롬프트 설계가 성능에 미치는 영향을 정량적으로 분석함으로써, 향후 LLM 기반 의미론적 평가 프레임워크 설계에 실질적인 가이드라인을 제공한다.