네덜란드 암 환자 인터뷰와 포럼에서 메타포 자동 추출: LLM과 인간 협업 프레임워크

초록

**
본 연구는 네덜란드어 암 환자 인터뷰와 온라인 포럼 텍스트에서 메타포를 자동으로 추출하기 위해 최신 오픈소스 대형 언어 모델(LLM)을 활용하고, 체인‑오브‑쓰스·셀프‑프롬프팅·지식‑가이드 프롬프팅 등 다양한 프롬프팅 전략을 비교한다. 인간‑인‑더‑루프(HITL) 검증을 통해 130개의 고품질 메타포를 확보하고, 정밀도 63.2%를 달성한 ‘HealthQuote.NL’ 데이터셋을 공개한다.

**

상세 분석

**
이 논문은 네덜란드어 메타포 추출이라는 비교적 미개척 영역에 LLM 기반 자동화 파이프라인을 최초로 적용한 점이 혁신적이다. 데이터는 두 갈래로 나뉘는데, (1) 13명의 암 환자·가족·인터뷰어가 참여한 심층 인터뷰 전사(총 13 문서, 최대 13 777단어)와 (2) kanker.nl에서 수집한 15 653개의 블로그 글·댓글·전문가 질의응답 등 방대한 포럼 데이터이다. 두 데이터는 구어·문어, 발화자 역할 구분 등 언어적·맥락적 다양성을 제공한다.

모델 선택에서는 qwen‑3, gemma‑3, llama‑3.1, mistral, deepseek‑r1, meditron, medllama2 등 7가지 오픈소스 LLM을 사용했으며, 파라미터는 7 ~ 27 억 규모, 컨텍스트 윈도우 32 k 토큰, 온도 0.8, top‑k 40, top‑p 0.9 등 실험적 설정을 적용했다. 핵심은 프롬프팅 설계이다. 기본 ‘Instruction Prompt’는 단순 지시만 포함했지만, ‘Refined Prompt v1’은 (① 전문가 언어학자 페르소나, ② 체인‑오브‑쓰스 예시, ③ 자동 검증 체크리스트, ④ 메타포 유형·출처·기능 분류 스키마) 를 결합해 메타포 식별 과정을 단계별로 명시했다. ‘Refined Prompt v2’는 영문 Metaphor Menu(17개) 전체를 삽입해 모델에 메타포 카테고리를 제공했지만, 결과적으로 과다한 후보 생성과 낮은 정밀도(13.8%)를 초래했다. 이는 영어 메타포가 네덜란드어 표현에 과도히 편향될 위험을 보여준다.

자동 검증 단계에서는 LLM이 원문에서 메타포가 등장한 정확한 문장·발화자·섹션을 찾아내는지를 체크하는 외부 체크리스트를 구현했다. 이후 인간 검증자는 세 명의 네이티브 박사급 언어학·보건 커뮤니케이션 전문가가 ‘faithfulness(원문 존재 여부)’, ‘metaphoricity(진정한 은유성)’, ‘contextual appropriateness(맥락 적합성)’ 세 기준으로 각각 메타포를 평가했다. 불일치는 토론을 통해 합의에 도달했으며, 최종적으로 130개의 고품질 메타포가 ‘HealthQuote.NL’에 수록되었다.

정량적 결과는 프롬프팅 전략에 따른 정밀도 차이를 명확히 보여준다. 기본 Instruction Prompt는 56.9% 정밀도를 기록했으며, Refined Prompt v1이 63.2%로 최고 성능을 달성했다. 이는 구조화된 프롬프트와 체인‑오브‑쓰스가 LLM의 ‘hallucination’(허위 생성)과 ‘idiom confusion’(관용구 오인식)를 크게 억제함을 의미한다. 반면, v2는 후보 수가 급증했지만 정밀도가 급락해, 과도한 외부 지식 삽입이 오히려 노이즈를 증가시킬 수 있음을 시사한다.

한계점으로는 (1) 데이터 규모가 제한적이며, 특히 인터뷰 전사는 13문서에 불과해 일반화 가능성이 낮다. (2) 모델은 모두 로컬 오픈소스이며, 최신 상용 LLM(예: GPT‑4, Claude)과의 비교가 없어서 절대적인 성능 평가가 어렵다. (3) 인간 검증 과정이 비용과 시간 소모가 크며, 주관적 판단이 개입될 여지가 있다. (4) 메타포의 기능적 분류가 비교적 얕아, 실제 임상 의사소통에 어떻게 활용될지 구체적 가이드라인이 부족하다.

향후 연구에서는 (① 더 다양한 암 유형·치료 단계·문화적 배경을 포함한 대규모 코퍼스 구축, ② 최신 상용 LLM과의 베이스라인 비교, ③ 자동화된 메타포 기능 분석(예: 감정 조절, 의사결정 지원) 및 임상 시나리오 적용, ④ 인간 검증 비용을 낮추기 위한 반자동 라벨링 및 크라우드소싱 전략) 등을 탐색할 필요가 있다. 또한, 메타포를 기반으로 한 환자 맞춤형 커뮤니케이션 도구(예: 메타포 추천 시스템) 개발도 기대된다.

**