환경 제약 속 대규모 언어 모델을 활용한 신뢰성 높은 EHR 데이터 큐레이션

초록

CELEC는 자연어 질문을 스키마 메타데이터만 이용해 SQL로 변환하고, 로컬에서 실행·시각화함으로써 환자 데이터 유출 없이 EHR 분석을 자동화한다. 프롬프트에 스키마 정보, few‑shot 예시, 체인‑오브‑생각을 결합해 정확도를 높였으며, EHRSQL‑2024 벤치마크에서 81 % 수준의 실행 정확도를 달성했다.

상세 분석

본 논문은 의료 연구자가 데이터베이스 전문 지식 없이도 전자건강기록(EHR)에 접근·분석할 수 있도록 설계된 CELEC 시스템을 제안한다. 핵심 기술은 LLM 기반 텍스트‑투‑SQL 파이프라인으로, 세 가지 프롬프트 엔지니어링 요소를 결합한다. 첫째, 스키마 메타데이터(테이블·컬럼명·타입)만을 LLM에 제공함으로써 환자 수준 데이터가 외부 LLM에 노출되는 위험을 원천 차단한다. 둘째, 의료 문헌·EHRSQL 벤치마크에서 추출한 4,761개의 고품질 NL‑SQL 쌍을 활용한 few‑shot 데모를 인컨텍스트로 삽입한다. 질문 임베딩을 MiniLM‑L6‑v2로 인코딩하고 ChromaDB에 색인해, 입력 질문과 가장 유사한 k=2개의 데모를 동적으로 선택한다. 셋째, 체인‑오브‑생각(CoT) 방식을 도입해 LLM이 먼저 관련 테이블을 식별하고 그 후 최종 SQL을 생성하도록 유도한다. 이는 불필요한 조인이나 컬럼 선택을 억제하고, 복합 질의에서 논리적 일관성을 확보한다.

오류 복구 메커니즘도 설계에 포함된다. 생성된 SQL이 실행 오류를 일으키면 오류 메시지를 LLM에 재전달해 최대 두 번까지 재시도한다. 실험 결과, 재시도 없이 단일 시도만으로는 약 70 % 수준이었으나, 두 번의 재시도 후 81 %의 RS(0) 점수를 기록, 재시도 전략이 정확도 향상에 크게 기여함을 확인했다.

시각화 모듈은 SQL 실행 후 반환된 데이터프레임의 컬럼 메타데이터만을 LLM에 제공하고, 차트 유형·축 매핑을 구조화된 스펙으로 출력한다. 실제 차트는 하드코딩된 TextScript 함수로 렌더링해, LLM이 데이터 자체를 보지 않으면서도 일관된 시각화를 제공한다.

성능 평가는 EHRSQL‑2024 벤치마크의 수정된 테스트 셋(707개 질문)에서 수행되었다. CELEC는 81.05 % RS(0) 점수로, 기존 최고 성능 팀(LG AI Research & KAIST, 88.17 %)에 근접하면서도 메타데이터만 노출하는 프라이버시‑우선 설계를 유지한다. 지연 시간은 평균 6.0 초, 비용은 질문당 $0.0152로, 실시간 인터랙티브 사용에 충분히 실용적이다.

각 구성 요소별 Ablation 실험에서는(1) 스키마 정보 제공 여부가 77.93 %→81.05 %로 3 %p 상승, (2) few‑shot 데모 수를 2→1로 감소시키면 73.97 %로 크게 감소, (3) 전혀 데모를 사용하지 않을 경우 50.21 %에 머무른다. 이는 특히 few‑shot 데모와 CoT가 성능에 결정적임을 입증한다.

전체적으로 CELEC는 LLM 활용과 프라이버시 보호 사이의 트레이드오프를 효과적으로 해결한 사례이며, 의료 데이터 분석 워크플로우를 크게 간소화한다는 점에서 실용적·학술적 의의가 크다.