AI 생성 데이터 오염이 병리 다양성 및 진단 신뢰성을 무너뜨린다

초록

본 연구는 의료 기록에 AI가 생성한 텍스트·이미지가 섞이면서, 이후 모델이 자체 합성 데이터를 학습할 경우 병리적 다양성이 급격히 감소하고 진단 정확도가 크게 저하되는 현상을 실증한다. 4세대까지의 자기‑참조 학습에서 희귀 질환 표기가 사라지고, 남성·중년 중심의 인구 통계가 편향되며, 모델은 자신감은 높아도 오류율은 3배 상승한다. 실제 의사 평가와 3가지 완화 전략을 통해 인간 검증의 필요성을 강조한다.

상세 분석

이 논문은 “AI‑generated data contamination”이라는 새로운 위험을 정량적으로 규명한다. 먼저 800 000개 이상의 합성 데이터를 이용해 세 가지 주요 임상 모달리티—임상 텍스트, 비전‑언어 기반 방사선 보고, 의료 영상 합성—에 대해 5세대(Gen 0~Gen 4) 자기‑참조 학습 프레임워크를 구축했다. 각 세대는 원본 사전학습 모델(GPT‑2, Qwen‑3‑8B 등)을 초기화한 뒤, 바로 이전 세대가 만든 합성 데이터를 전용 코퍼스로 사용해 미세조정하였다. 이렇게 하면 모델 자체의 파라미터 드리프트가 아닌 데이터 품질 저하만을 측정할 수 있다.

주요 평가 지표는 어휘 다양성(TTR), 고유 의료 용어 수, 의미 일관성 점수, 퍼플렉시티, 그리고 임상적 ‘병리 다양성’(희귀 병변·인구 통계 분포)이다. 결과는 급격한 어휘 붕괴를 보여준다. 예를 들어 방사선 보고서의 고유 단어 수는 12 078개에서 200개 이하로 98.9% 감소했으며, 의료 용어는 66% 감소했다. 텍스트 길이와 섹션 구조도 단일 템플릿으로 수렴해, ‘Impression’ 섹션이 평균 39→34단어, 표준편차가 33.6→7.2로 축소되었다.

의료 지식 측면에서는 조건 동시발생 행렬 분석을 통해 희귀 병변(폐기흉, 종괴, 골절 등)이 거의 사라지고, 흔한 진단(폐렴·삼출·심비대)만이 과도하게 반복되는 현상이 확인되었다. 이는 모델이 실제 환자 데이터에서 얻어야 할 ‘희귀 신호’를 학습하지 못하고, 오류를 정상으로 착각하게 만든다.

또한, 모델이 출력에 대해 높은 자신감을 표시하면서도 실제 정확도는 급격히 떨어졌다. ‘거짓 안심’ 비율이 13%에서 40%로 3배 상승했으며, 이는 퍼플렉시티가 17.5→786배 증가한 것과 정반대로 나타난다. 블라인드 의사 평가에서는 2세대 이후 생성된 보고서가 임상적 가치를 거의 제공하지 못하고, 수정 작업이 크게 늘어났다.

완화 전략으로는 (1) 합성 데이터 양을 늘리는 ‘Synthetic Volume Scaling’, (2) 실제 데이터와 혼합하는 ‘Real‑Data Mixing’, (3) 품질을 사전 평가해 저품질 샘플을 걸러내는 ‘Quality‑Aware Filtering’이 제시되었다. 실험 결과, 단순히 합성량을 늘리는 방법은 효과가 없었으며, 실제 데이터와 30% 이상 혼합하거나, 품질 필터링을 적용하면 어휘 다양성과 의료 용어 보존이 현저히 개선되었다.

전반적으로 이 연구는 의료 AI 파이프라인에 인간 검증과 데이터 출처 관리가 필수적임을 증명한다. 정책 차원에서는 AI 생성 콘텐츠에 대한 메타데이터 기록, 자동 품질 검사, 그리고 정기적인 임상 검증 절차를 의무화해야 한다는 권고를 제시한다.