검색·추론 기반 대형언어모델을 활용한 합성 임상시험 데이터 생성

초록

본 논문은 실제 임상시험 데이터를 검색·추론 모듈로 활용해 대형언어모델(LLM)에게 few‑shot 프롬프트를 제공함으로써, 성공·실패 라벨이 부착된 합성 임상시험 보고서를 자동 생성하는 프레임워크를 제안한다. 생성된 3,358개의 합성 시험을 실제 데이터와 결합해 BioBERT를 fine‑tuning하면, 임상시험 결과 예측 정확도와 PR‑AUC가 현저히 향상됨을 실험적으로 입증한다.

상세 분석

이 연구는 임상시험 데이터의 희소성과 개인정보 보호 문제를 해결하기 위해 LLM 기반 합성 데이터 생성이라는 새로운 접근을 시도한다. 핵심은 ‘검색‑추론‑생성’ 3단계 파이프라인이다. 먼저 DrugBank와 연계해 실제 ClinicalTrials.gov에서 약물명 기반으로 관련 시험을 필터링하고, 성공·실패 라벨이 충분히 존재하는 약물을 선택한다. 이렇게 추출된 3개의 동일 약물·동일 라벨 사례를 few‑shot 프롬프트의 인‑컨텍스트 예시로 제공한다. 두 번째 단계인 추론 모듈은 LLM에게 해당 라벨에 대한 5가지 이유를 열거하도록 요구함으로써, 생성될 텍스트가 단순히 형식만 모방하는 것이 아니라 임상적 인과관계를 반영하도록 유도한다. 마지막 생성 모듈은 ‘의료 전문가’ 역할을 부여받은 LLM에게 이유와 예시를 모두 포함한 프롬프트를 주고, 지정된 라벨(성공 또는 실패)을 갖는 새로운 임상시험 보고서를 XML‑유사 구조로 출력하게 한다. 온도 1.0 설정의 ChatGPT‑4o‑mini를 사용해 3,358개의 고품질 합성 보고서를 얻었으며, 각 보고서는 약물명, 대상군, 설계, 결과 요약 등을 포함한다.

생성된 합성 데이터는 BioBERT 기반 이진 결과 분류기에 투입되었다. 실험은 ‘Synthetic‑Only’, ‘Real‑Only’, ‘Hybrid’ 세 가지 학습 설정과, 합성·실제 비율을 0:100부터 100:0까지 20% 단위로 변형한 ‘Ratio’ 실험을 포함한다. 인‑분포 테스트에서는 Hybrid 설정이 정확도 0.642, PR‑AUC 0.728로 최고 성능을 보였으며, 특히 Synthetic‑Only가 Real‑Only보다 5~7%p 상승했다. 비율 실험에서도 60% 합성 + 40% 실제 데이터가 가장 높은 점수를 기록해, 합성 데이터가 모델 일반화에 기여함을 확인했다. 또한, 합성 데이터를 사용해 학습한 모델을 약물명이 겹치지 않는 ‘Out‑of‑Distribution’ 테스트 집합에 적용했을 때도 Hybrid이 0.725(정확도), 0.694(PR‑AUC)로 우수한 일반화 능력을 보여준다. t‑SNE 시각화와 코사인 유사도 분석을 통해 합성 샘플이 실제 데이터의 특징 공간을 효과적으로 확장하고, 다양성을 유지함을 증명하였다.

하지만 몇 가지 한계도 존재한다. 첫째, LLM이 제공하는 이유와 텍스트는 여전히 ‘플루언시’ 수준에 머물러, 임상적 타당성을 전문가가 별도 검증해야 한다. 둘째, 라벨이 이진(성공/실패)으로 제한돼 복합적인 임상 결과(예: 부분 성공, 안전성 지표 등)를 포착하지 못한다. 셋째, 현재는 단일 약물·단일 라벨에 초점을 맞추었으므로, 다중 중재나 복합 치료 시나리오에 대한 확장성이 미흡하다. 향후 연구에서는 다중 라벨링, 장기 추적 데이터, 그리고 LLM‑기반 이유 생성의 신뢰성을 평가하는 메타‑평가 프레임워크를 구축할 필요가 있다.