LLM 기반 증거 추출의 구조적 실패 진단

초록

본 논문은 메타분석을 위한 증거 추출 작업에서 대형 언어 모델(LLM)의 구조적 한계를 체계적으로 진단한다. 스키마 제약 질의 체계를 단계별로 설계하고, 5개 분야의 수작업 금본 데이터를 이용해 두 최신 LLM을 단일 문서와 장문 다문서 입력 상황에서 평가한다. 결과는 단일 속성 질의에서는 중간 수준의 정확도를 보이나, 변수‑역할‑통계‑효과크기 간의 안정적 결합을 요구하는 복합 질의에서는 급격히 성능이 떨어짐을 보여준다. 오류는 개별 엔터티 인식이 아니라 역할 전환, 바인딩 흐트러짐, 수치 오배정 등 구조적 붕괴에서 비롯된다.

상세 분석

논문은 메타분석 전 단계인 증거 추출을 “스키마‑구속 질의”라는 프레임으로 재구성한다. 질의는 ① 단일 엔터티 추출, ② 변수‑역할 쌍, ③ 통계 방법과 효과 크기 연결, ④ 전체 메타‑분석 튜플(인구, 독립·종속 변수, 통계 방법, 표본 크기, 효과 크기) 네 단계로 점진적 복잡성을 부여한다. 이를 통해 LLM이 구조적 바인딩을 유지하는 능력을 단계별로 측정한다. 평가에 사용된 스키마는 도메인‑중립적인 연구 요소(인구, 지리, 표본, 변수, 역할, 통계 방법, 효과 크기)를 포함하며, 5개 분야(시민공학, 의료·보건, 농업, 환경·지구과학, 사회과학)에서 1,200여 개 논문을 수작업으로 라벨링했다. 두 모델은 최신 GPT‑4‑Turbo와 Claude‑2이며, 각각 단일 문서 입력과 32 KB까지 확장 가능한 장문 입력을 테스트했다. 실험 결과, ① 단일 속성 질의에서는 F1 점수가 0.71~0.78 수준으로 비교적 양호했지만, ② 변수‑역할 매핑에서는 정확도가 0.45 이하로 급락했다. 특히 변수 간 역할 전환(예: 독립 변수를 종속 변수로 오인)과 변수‑통계‑효과 크기 간의 바인딩 오류가 빈번했다. ③ 통계 방법과 효과 크기 연결 단계에서는 수치 오배정이 주된 오류 원인이었으며, 평균 절대 오차가 0.32 SD를 초과했다. ④ 전체 튜플 추출에서는 거의 0에 수렴하는 재현율을 보였으며, 장문 다문서 입력에서는 중간에 위치한 정보가 무시되거나 압축돼 정확도가 더욱 악화되었다. 오류 전파 분석에서는 작은 바인딩 실수가 메타‑분석 단계에서 평균 효과 크기 추정치를 15 % 이상 왜곡시키는 것을 확인했다. 저자들은 이러한 구조적 붕괴가 기존 엔터티 인식 성능과는 별개이며, LLM이 복합 관계와 수치 grounding을 동시에 유지하는 능력이 현 단계에서는 부족함을 강조한다. 논문은 또한 현재 LLM이 스키마‑제약 디코딩, 신경‑심볼릭 결합, 외부 검증 단계와 같은 보완적 방법 없이 메타분석용 데이터베이스를 자동 구축하기에 부적합함을 시사한다.