바이오에이스 자동 생물의학 답변·인용 평가 프레임워크

초록

BioACE는 생물의학 질문에 대한 LLM 생성 답변과 그 근거 인용을 자동으로 평가하기 위한 프레임워크이다. 정답 ‘넛지(nugget)’ 추출, 임베딩 기반 정밀·재현율, 자연어 추론(NLI) 및 대형 언어 모델(LLM) 활용 등을 결합해 답변의 완전성·정확성·정밀도·재현율을 측정한다. 또한 인용 문헌이 답변 사실을 뒷받침하는지를 문서‑답변 매칭 점수로 평가한다. 실험 결과, sup‑simcse‑roberta‑large 임베딩이 넛지 매칭에서 가장 높은 F1을 보였으며, RoBERTa‑Large와 Llama‑3.3‑70B‑Instruct(Zero‑shot)가 각각 완전성·정확성 평가에서 최상 성능을 기록했다. 인용 평가에서는 Llama‑3.3 기반 모델이 전반적으로 높은 F1을 달성했다.

상세 분석

BioACE는 기존 생물의학 QA 평가에서 흔히 발생하는 ‘정답과 근거 문헌의 자동 검증’ 문제를 체계적으로 해결하고자 설계되었다. 핵심 아이디어는 답변을 ‘넛지’라 불리는 핵심 사실 단위로 분해하고, 이 넛지를 인간이 만든 정답 넛지와 자동 추출된 넛지 간의 매칭을 통해 정밀도·재현율·F1을 산출하는 것이다. 이를 위해 논문에서는 세 가지 임베딩 모델(all‑MiniLM‑L6‑v2, all‑mpnet‑base‑v2, sup‑simcse‑roberta‑large)을 비교했으며, sup‑simcse‑roberta‑large가 44.68% 정밀도와 58.39% 재현율, 50.62% F1 점수로 가장 우수한 성능을 보였다. 임계값 튜닝을 통해 각 모델의 최적 확률 임계값을 제시함으로써 실제 적용 시 자동화된 넛지 매칭의 신뢰성을 높였다.

답변의 ‘완전성’ 평가는 두 단계로 진행된다. 첫 번째는 사전학습된 언어 모델(PLM)들을 BioGen2024‑train 데이터셋으로 미세조정하고, 검증셋(BioGen2024‑val)에서 최적 파라미터를 선정한 뒤 MedAESQA 테스트셋에 적용하는 방식이다. 여기서 RoBERTa‑Large가 75.37% 가중 F1 점수로 최고 성능을 기록했다. 두 번째는 대형 언어 모델(LLM)들을 Zero‑shot과 Fine‑tuned 두 설정으로 평가한 결과, Llama‑3.3‑70B‑Instruct가 Zero‑shot 상황에서 76.20%의 최고 F1을 달성했으며, Fine‑tuned 상황에서도 78.33%의 높은 점수를 유지했다. 흥미롭게도 Mistral‑7B‑Instruct‑v0.3는 Fine‑tuned 시 F1가 68.56%로 상승했으며, Zero‑shot 대비 5.15 포인트 향상을 보였다. 이는 모델 규모와 파인튜닝 전략이 완전성 평가에 미치는 영향을 시사한다.

‘정확성’ 평가는 이진 분류 관점에서 진행되었다. 전통적인 SVM과 로지스틱 회귀부터 최신 PLM, LLM까지 폭넓게 실험했으며, PLM 중 RoBERTa‑Large가 97.65%의 거의 완벽에 가까운 정확도와 99.34% AUC를 기록했다. 반면 LLM 기반 Zero‑shot 모델은 전반적으로 낮은 성능을 보였으며, 특히 Llama‑3‑8B‑Instruct는 정밀도 28.77%에 불과했다. Fine‑tuned Llama‑3‑8B‑Instruct만이 약간의 향상을 보여 33.25% F1을 달성했지만, 여전히 PLM에 비해 뒤처졌다. 이는 현재 LLM이 직접적인 사실 검증보다는 생성 능력에 강점을 가지고 있음을 의미한다.

인용 평가에서는 ‘답변‑문서 매칭’과 ‘넛지‑문서 매칭’ 두 가지 시나리오를 설정하고, 다양한 Transformer 기반 모델과 특수 점수 함수(alignscore, summacconv, summaczs 등)를 적용했다. 기본 모델 중 Llama‑3.3‑Base가 76.65% 정밀도와 76.64% 재현율로 가장 균형 잡힌 성능을 보였으며, Fine‑tuned 후에는 78.12%/77.85%로 약간의 개선을 보였다. 반면 FLAN‑T5, FLAN‑UL2 등 다른 모델들은 전반적으로 70~75% 수준에 머물렀다. 특히 summacconv와 summaczs와 같은 요약 기반 점수는 정밀도가 크게 떨어져(34% 이하) 실용성이 낮았다. 전체적으로 Transformer 기반 모델이 LLM에 비해 인용 매칭에서 더 안정적인 성능을 보였으며, 파인튜닝이 큰 폭의 향상을 주지는 않았지만 미세한 개선을 제공한다는 점을 확인했다.

논의 섹션에서는 인간 어노테이션과 자동 메트릭 간 상관관계를 재검토했으며, 특히 ‘재현율’이 인간이 정의한 클러스터 기반 재현율과 높은 일치도를 보였음을 강조한다. 또한 NLI 기반 점수는 부정 샘플에 대해 낮은 확률을 부여하지만, 임베딩 기반 코사인 유사도는 부정 샘플에서도 높은 점수를 부여하는 경향이 있어, 단순 유사도만으로는 부정 사례를 효과적으로 구분하기 어렵다는 한계를 지적한다.

결론적으로 BioACE는 답변·인용 평가를 위한 종합 파이프라인을 제공하며, 넛지 기반 정밀·재현율, PLM 기반 완전성·정확성, 그리고 Transformer 기반 인용 매칭을 결합한 것이 현재 가장 높은 인간‑기계 상관관계를 달성한다는 점을 입증한다. 향후 연구에서는 프롬프트 엔지니어링, 멀티모달 증거(표·그림) 활용, 그리고 도메인‑특화 NLI 모델 개발을 통해 평가 정확도를 더욱 높일 수 있을 것으로 기대한다.