시간독성 자동추출을 위한 LLM 기반 파이프라인 TimeTox

초록

TimeTox는 Gemini LLM을 활용해 임상시험 프로토콜의 평가 일정표(SoA)에서 “시간독성”(환자 접촉 일수)을 자동으로 추출·계산하는 3단계 파이프라인이다. 합성 데이터(20개 일정표, 240개 비교)에서는 구조‑후‑계산(two‑stage) 모델이 MAE 0.81일, 100% 임상 허용 정확도를 달성했으며, 단일패스(vanilla) 모델은 MAE 9.0일, 정확도 41.5%에 머물렀다. 그러나 실제 644개 암 임상시험 프로토콜에 적용했을 때는 vanilla 파이프라인이 IQR≤3일을 만족하는 95.3%의 임상 허용 정확도와 82.0% 완전 안정성을 보여, 실무 배포에서는 재현성이 핵심임을 강조한다.

상세 분석

본 논문은 임상시험 프로토콜 내 Schedule of Assessments(SoA) 표에서 환자가 경험하는 총 의료 접촉 일수를 의미하는 “시간독성”을 자동으로 추출하기 위한 엔드‑투‑엔드 파이프라인인 TimeTox를 제안한다. 핵심 기술은 구글 Gemini 모델을 3단계에 걸쳐 활용하는데, 첫 단계는 전체 PDF에서 SoA 관련 페이지를 식별·요약하는 ‘summary extraction’이며, 여기서는 Gemini 2.5 Flash 모델을 온도 0.0, top‑p 0.95로 설정해 강제 JSON 출력을 얻는다. 두 번째 단계에서는 요약된 SoA PDF와 구조화된 프롬프트를 입력으로 하여 직접 접촉 일수를 계산하는 ‘vanilla’ 단일패스 방식을 적용한다. 세 번째 단계는 동일 프로토콜을 여러 번 실행해 얻은 결과를 ‘position‑based arm matching’으로 정렬·합의하여 변동성을 최소화한다.

두 가지 아키텍처를 비교했는데, ‘two‑stage’ 파이프라인은 첫 단계에서 표의 구조(주기 길이, 사이클당 방문일, 치료 기간 등)를 추출하고, 두 번째 단계에서 별도 LLM 호출로 수학적 계산을 수행한다. 이 접근법은 표 해석과 연산을 분리함으로써 합성 데이터에서 100% 임상 허용 정확도(±3일)와 MAE 0.81일을 기록했다. 반면, ‘vanilla’는 한 번에 전체 작업을 수행해 합성 데이터에서는 정확도가 크게 떨어졌다(41.5%, MAE 9.0일).

하지만 실제 임상시험 문서는 포맷이 다양하고 OCR 오류, 레전드·주석 등 복잡한 요소가 존재한다. 이러한 현실적 변수를 반영한 644개 암 프로토콜에 대해 3회 반복 실행한 결과, ‘vanilla’ 파이프라인이 IQR≤3일을 만족하는 95.3%의 임상 허용 정확도와 82.0% 완전 안정성을 보이며, ‘two‑stage’는 변동성이 크게 증가했다. 이는 구조 추출 단계에서 발생하는 오류가 누적되어 최종 계산에 영향을 미치기 때문으로 해석된다.

또한 논문은 합성 데이터와 실제 데이터 간의 평가 기준 차이를 강조한다. 합성 데이터는 완전 통제된 환경에서 정확도(MAE, Exact Match)를 중시하지만, 실제 배포에서는 동일 프로토콜에 대해 반복 실행 시 결과가 일관되는가가 더 중요한 성공 요인이다. 따라서 저자들은 “실제 배포에서는 재현성(reproducibility)이 정확도보다 우선”이라는 결론을 내렸다.

기술적 한계로는 Gemini 모델의 API 호출 비용, 처리 시간(프로토콜당 2~3분), 그리고 표 해석 시 시각적 레이아웃 변형에 대한 민감도가 있다. 향후 연구에서는 멀티모달 비전‑LLM 결합, 프롬프트 최적화, 그리고 외부 검증용 메타데이터(예: ClinicalTrials.gov 메타데이터)와의 연계가 제안된다.

전반적으로 TimeTox는 LLM을 활용한 의료 문서 자동화의 실용적 사례를 제공하며, 특히 “실제 운영에서는 변동성을 최소화하는 설계가 핵심”이라는 중요한 교훈을 제시한다.