LLM 연구의 검증 위기: 반증가능성 결핍과 투명성 제언

초록

본 논문은 대형 언어 모델(LLM)이 과학적 발견을 주장할 때 팝퍼의 반증가능성 기준을 충족하지 못한다는 점을 지적한다. 훈련 데이터 불투명성, 모델 지속적 업데이트, 인간‑모델 상호작용 기록 부재, 실패 사례와 반사실(counterfactual) 데이터 누락 등 네 가지 주요 결함을 제시하고, 이를 해소하기 위한 투명성·재현성 가이드라인(T‑D‑A‑P)을 제안한다.

상세 분석

이 논문은 LLM이 “새로운 과학을 창출한다”는 주장에 대해 철학적·방법론적 검증 기준을 적용한다. 먼저 팝퍼의 반증가능성 원칙을 과학적 진술의 최소 요건으로 설정하고, 현재 AI·과학 논문들이 이를 회피하거나 무시하고 있음을 지적한다. 구체적으로 네 가지 구조적 결함을 제시한다. 첫째, 훈련 데이터가 비공개·비검색 가능하므로 모델이 실제로 새로운 아이디어를 생성했는지, 아니면 기존 문헌을 변형·재조합한 것인지 판단할 근거가 없다. 이는 “데이터 누수(leakage)” 문제와 직결되며, 기존 연구(예: Kapoor & Narayanan, 2023)와 일맥상통한다. 둘째, LLM은 지속적인 파인튜닝·업데이트가 이루어지기 때문에 동일 실험을 재현하려면 정확한 모델 버전과 업데이트 시점을 명시해야 하는데, 현재 논문들은 이를 제공하지 않는다. 이는 재현성 위기를 심화시킨다. 셋째, 인간과 모델 간의 프롬프트·응답 로그가 공개되지 않으면, 실제 발견에 기여한 부분이 인간의 힌트인지 모델 자체의 추론인지 구분할 수 없다. 특히 컨텍스트 유지 메커니즘이 여러 대화에 걸쳐 작동하므로, 단일 채팅 로그만 공개해도 충분치 않다. 넷째, 성공 사례만 보고하고 실패·반사실 실험을 누락하면 선택 편향이 발생한다. “무엇이 없었을 때 결과가 어땠을까”를 평가할 수 없으므로, LLM이 제공하는 효율성·가속화 효과를 과대평가하게 된다. 논문은 이러한 문제들을 보완하기 위해 T‑D‑A‑P(Training algorithm, Training data, AI architecture & weights, Interaction transcript) 네 가지 요소를 공개하도록 요구한다. 또한, 에너지·연산 비용, 모델 버전, 프롬프트 히스토리, 실패 로그까지 포함한 메타데이터를 표준화된 체크리스트 형태로 제시한다. 마지막으로, LLM이 만든 “새로운” 지식이 실제로는 기존 연구의 재발견인지, 혹은 저작권·공정 이용 논쟁에 휘말릴 위험이 있는지를 사회·법적 맥락에서도 논의한다. 전체적으로 이 논문은 현재 LLM 기반 과학 연구가 과학적 엄밀성을 상실하고 있음을 경고하고, 실증적 검증 가능성을 회복하기 위한 구체적 정책·기술적 방안을 제시한다.