다중 의료 기관을 위한 인공지능 모델의 출력 편향 감지 시스템 개발

초록

본 논문은 다중 의료 기관에서 사용되는 예측 모델의 성능 저하를 감지하기 위해 에이전트 기반의 출력 편향 감지 방법을 제안한다. 이 방법은 각 의료 기관별로 독립적인 에이전트가 모델의 출력을 참조 분포와 비교하여 편향을 감지하고 그 심각성을 평가한다. 실제 유방암 이미징 데이터를 사용한 실험 결과, 제안된 방법은 중앙 집중식 모니터링보다 편향 감지에서 최대 10.3% 더 높은 성능을 보였다.

상세 요약

본 논문의 핵심 아이디어는 다중 의료 기관에서 사용되는 예측 모델의 성능 저하를 효과적으로 감지하고 평가하기 위한 에이전트 기반의 출력 편향 감지 시스템을 제안하는 것이다. 이 방법은 각 의료 기관별로 독립적인 에이전트를 배치하여, 모델의 예측 결과와 참조 분포 사이의 차이를 비교하고 이를 통해 편향을 감지한다. 특히, 참조 분포는 다중 센터 모니터링 스키마에 따라 각 의료 기관별로 특정한 참조 분포 혹은 전역적인 참조 분포를 사용할 수 있다.

실험에서는 실제 유방암 이미징 데이터와 병리학적 완전 반응 예측 모델을 활용하여 제안된 방법의 성능을 평가하였다. 실험 결과, 다중 센터 모니터링 스키마는 중앙 집중식 모니터링보다 편향 감지에서 최대 10.3% 더 높은 F1 점수를 보였다. 특히 참조 분포가 각 의료 기관별로 특정되지 않을 경우, 적응형 스키마는 가장 우수한 성능을 나타내었다.

이 연구의 주요 발견점은 다중 의료 기관에서 사용되는 예측 모델의 성능 저하를 효과적으로 감지하고 평가하기 위해 에이전트 기반의 출력 편향 감지 방법이 중앙 집중식 모니터링보다 우수하다는 것이다. 이를 통해, 다중 의료 기관 환경에서 예측 모델의 신뢰성을 크게 높일 수 있다.