거의 임상 수준: 합성 전자 건강 기록의 언어적 특성

초록

본 연구는 정신건강 분야에서 생성된 합성 전자 건강 기록(EHR)의 언어적·임상적 적합성을 평가한다. 네 가지 임상 장르(초진 평가, GP 서신, 의뢰·인계, 치료계획)를 대상으로 LLM(Llama 3.2, Mistral v0.3)으로 만든 12 960개의 합성 기록을 분석한다. 시스템 기능 언어학(SFL) 관점에서 행위자, 양태, 정보 흐름을 조사했으며, LLM이 실제 임상 텍스트와 유사하지만 길이·레지스터·임상 세부사항·약물·진단 정확도에서 체계적인 차이를 보임을 확인했다. 결과는 대규모 언어학 연구에 합성 코퍼스 활용 가능성을 제시하지만, 임상적 신뢰성을 위해 추가 검증이 필요함을 시사한다.

상세 분석

이 논문은 인공지능 기반 합성 전자 건강 기록(EHR)이 실제 임상 문서와 얼마나 유사한지를 체계적으로 검증한다는 점에서 의미가 크다. 먼저 저자들은 정신건강 분야의 민감한 데이터 접근 제한을 극복하기 위해 LLM을 활용해 표준 템플릿과 12 960개의 변수 조합(연령, 성별, 성적 지향, 인종, 진단, 약물, 위험 요인, 입원 형태)을 입력으로 합성 기록을 생성하였다. 네 가지 장르(Initial Assessment, GP Correspondence, Referral·Handover, Care Plan)는 각각의 임상 목적과 역할 구조(tenor)를 반영하도록 설계되었으며, 각 장르별 프롬프트와 시스템 프롬프트를 통해 LLM이 ‘의사’ 역할을 수행하도록 유도했다.

언어학적 분석은 Halliday와 Matthiessen이 제시한 시스템 기능 언어학(SFL) 프레임워크를 적용하였다. 필드(field)‑텐어(tenor)‑모드(mode) 세 차원을 바탕으로 절 수준의 행위자(agency), 양태(modality), 정보 흐름(theme) 세 가지 클러스터를 추출했다. 자동 도구(CorpusTool)와 인간 검증을 결합해 24개의 텍스트(각 장르·LLM당 6개)를 상세히 코딩하였다.

주요 결과는 다음과 같다. ① 전이성(Clause Types): Care Plan에서는 물질적(material) 절이 83~89%로 가장 높아 ‘실행‑지시’ 레지스터를 반영한다. 반면 Initial Assessment와 Referral에서는 관계절(relational)과 존재절(existential)이 상대적으로 많이 나타나 ‘분류‑목록화’ 레지스터가 강조된다. Llama는 존재절을 거의 사용하지 않지만 Mistral은 위험·안전 관련 존재절을 5%까지 사용해 임상 실체를 명시한다. ② 양태(Modality): 전체 장르에서 의무성(deontic requirement)이 가장 빈번하며, 특히 Care Plan과 Referral에서 ‘obligation’ 형태가 지배적이다. Llama는 환자 주도적 volition(‘I will…’)을 더 많이 삽입해 환자 agency를 강조하는 반면, Mistral은 의사 중심의 volition을 드물게 사용한다. ③ 정보 흐름(Information Flow): ‘however’와 같은 대조 연결어가 Referral 장르에서, ‘additionally’, ‘furthermore’와 같은 확장 연결어가 Care Plan과 GP Correspondence에서 주로 사용돼 정보 누적과 대비를 조절한다. Llama는 ‘arguing’ 테마를, Mistral은 ‘extending’ 테마를 더 많이 활용한다.

텍스트 길이에서도 차이가 뚜렷하다. Llama는 평균 800단어 이상으로 장문의 서술을 생성하지만 일부 극단적 길이(8 098단어)로 편차가 크다. Mistral은 보다 일관된 길이(약 600~700단어)를 유지한다. 이러한 차이는 연구자가 선택할 LLM에 따라 데이터 품질과 분석 효율성이 크게 달라질 수 있음을 보여준다.

임상적 측면에서는 약물 용량·진단 명칭·절차 서술에서 부정확성이 보고되었다. 예를 들어 ‘sertraline 200 mg daily over the last three months’와 같은 구체적 처방이 누락되거나, 정신분열증과 같은 진단이 부적절하게 매핑되는 경우가 있었다. 또한 레지스터 전환이 부자연스럽게 나타나, 실제 임상 서신에서는 드물게 보이는 ‘친근한’ 어투가 섞이는 현상이 관찰되었다.

결론적으로, 합성 EHR은 대규모 언어학 연구와 NLP 모델 훈련에 유용한 자원을 제공하지만, 임상적 정확성·레지스터 일관성·편향 검증을 위한 추가적인 품질 관리가 필수적이다. 향후 연구에서는 인간 전문가 검증을 통한 교정, 다양한 LLM 아키텍처 비교, 그리고 실제 임상 데이터와의 정량적 유사도 평가가 필요하다.