전역적 논쟁 기반 설명 가능한 LLM 의사결정 지원 프레임워크

본 논문은 대형 언어 모델(LLM)의 불투명성과 예측 불가능성이 고위험 분야, 특히 의료 분야에서의 적용을 저해한다는 문제점을 출발점으로 삼는다. 기존 연구들은 LLM에 후처리 형태의 논증 기반 추론을 결합해 설명 가능성을 높이고, 사용자가 개별 사례에 대해 오류를 바로잡을 수 있는 “local contestability”를 제공했지만, 이러한 접근은 이진 선택에 국한되고, 근본적인 의사결정 로직을 수정하지 못한다는 한계가 있었다. 이를 극복하기 위해 저자들은 ArgEval이라는 새로운 프레임워크를 제안한다. ArgEval은 두 단계로 구성된다. 첫 번째는 “General Task Processing” 단계로, 도메인‑특화 정책 문서(예: 임상 가이드라인)를 입력으로 받아 결정 옵션의 온톨로지를 자동으로 구축한다. 온톨로지는 결정 엔터티(E), 텍스트 청크(T), 계층 관계(H), 출처 관계(S) 네 요소로 정의되며, Algorithm 1에 따라 LLM이 각 청크를 순차적으로 분석해 새로운 엔터티와 관계를 JSON 형태로 반환한다. 이렇게 구축된 온톨로지는 각 치료 옵션(수술, 방사선, 화학요법, 표적 치료 등)을 구조화된 형태로 표현한다. 두 번째 단계는 “Case‑Specific Inference”이다. 여기서는 환자 개별 파라미터(연령, KPS, 종양 등급 등)를 자동 추출하고, 이 파라미터를 일반 QBAF(Quantitative Bipolar Argumentation Framework)와 매핑한다. QBAF는 논증 집합(A), 공격 관계(R⁻), 지원 관계(R⁺), 기본 점수(τ)로 구성된 4‑튜플이며, 각 옵션마다 하나의 루트 논증을 갖는 트리 구조이다. 논증의 강도 σ는 DF‑QuAD 연속성 없는 점진적 의미론을 사용해 계산된다. 구체적으로, 공격자와 지원자의 강도 집합을 F 함수로 집계하고, 이를 τ와 결합해 C 함수가 최종 σ를 산출한다. 이 과정은 결정 옵션에 대한 정량적 설득력을 제공한다. 인스턴스화된 QBAF는 그래프 자체가 설명이 된다. 사용자는 그래프의 각 노드와 점수를 검토하고, 필요 시 논증을 추가하거나 τ 값을 수정할 수 있다. 이러한 수정은 “global contestability”를 구현한다. 즉, 일반 QBAF(또는 온톨로지)의 특정 논증을 변경하면, 동일 조건을 만족하는 모든 미래 사례에 즉시 반영된다. 이는 기존 ArgLLMs·ArgRAG가 제공하던 개별 사례 수준의 오류 수정과는 근본적으로 다르다. 실험은 glioblastoma(악성 뇌종양) 치료 추천을 대상으로 수행되었다. 정책 문서로는 최신 NCCN 및 EANO 가이드라인을 사용했으며, 이를 통해 12개의 주요 논증과 35개의 공격·지원 관계를 포함하는 온톨로지를 구축했다. 테스트 데이터는 200개의 가상 환자 케이스이며, 각 케이스에 대해 ArgEval은 인스턴스화된 QBAF를 통해 치료 옵션별 점수를 산출했다. 비교 대상은 (1) 순수 LLM 기반 체인‑오브‑생각, (2) ArgLLMs‑O(이진 선택 전용), (3) ArgRAG‑O(외부 검색 기반)이다. 결과는 다음과 같다. ArgEval은 평균 정확도 0.78로 가장 높은 성능을 보였으며, 추론 시간은 0.12 초로 가장 빠른 편이었다. 특히, 한 사례에서 “생물학적 표적 치료가 부적절”이라는 논증을 수정한 뒤 전체 테스트셋에서 정확도가 6 % 상승했으며, 이는 글로벌 contestability가 실제로 모델 성능을 향상시킬 수 있음을 입증한다. 논문의 주요 기여는 다음과 같다. 첫째, 전역적 contestability를 지원하는 ArgEval 프레임워크를 제안했다. 둘째, 의료 분야(특히 glioblastoma 치료)에서 경쟁력 있는 성능을 보이며, 기존 방법 대비 추론 비용을 크게 절감했다. 셋째, 온톨로지·QBAF·케이스 파라미터 추출 등 다중 레이어에서 사용자가 직접 수정·피드백할 수 있는 인터페이스를 제공함으로써 인간‑AI 협업을 강화했다. 한계점으로는 온톨로지 구축이 초기 정책 문서의 품질에 크게 의존한다는 점, QBAF가 트리 구조에 제한돼 복잡한 다단계 논증을 완전히 표현하기 어려울 수 있다는 점을 들었다. 향후 연구에서는 비트리형 그래프 구조와 동적 온톨로지 업데이트 메커니즘을 도입하고, 의료 외 분야(법률, 금융 등)로의 확장 가능성을 탐색할 예정이다.