인공지능과 시각인식 융합 ICU 데이터 자동화 시스템

초록

본 논문은 클라우드‑엣지‑엔드 구조를 기반으로, 베드사이드 모니터 화면을 비접촉식으로 촬영·인식하여 실시간 생체 신호를 추출하고, 대형 언어 모델(LLM) 기반 음성 인터페이스로 의사가 자연어로 데이터를 조회할 수 있게 하는 인간‑AI 시너지 시스템을 제안한다. 시각‑인식 모듈은 YOLOv5와 CRNN OCR을 이용해 화면 영역을 검출·텍스트화하고, FHIR 형식으로 정형화한다. LLM 모듈은 프롬프트 엔지니어링과 음성 인식을 결합해 구조화된 데이터를 의미론적으로 검색·응답한다. 실험 결과, 데이터 전송량 감소와 인식 정확도 향상을 보이며, 간호·의사의 인지 부하를 크게 낮출 수 있음을 확인하였다.

상세 분석

이 연구는 ICU 현장의 두 가지 핵심 문제, 즉 “수동 데이터 전사에 따른 오류와 업무 부담”과 “분산된 정보 시스템에 대한 비효율적인 접근”을 동시에 해결하고자 한다. 첫 번째 문제는 비침습적인 시각 인식 파이프라인을 통해 접근한다. 고해상도 카메라와 서보 모터가 장착된 엣지 디바이스는 실시간으로 모니터 화면을 촬영하고, 경량화된 YOLOv5 모델을 이용해 화면 내 주요 영역(심박수, 혈압, SpO₂ 등)을 정확히 탐지한다. 탐지된 영역은 CRNN 기반 OCR 파이프라인으로 전송되어 문자 인식이 수행되며, CTC 디코더가 문자 정렬 없이 문자열을 출력한다. 이후 도메인‑특화 매핑 함수를 통해 추출된 값은 단위와 의미를 정규화하고, 국제 표준인 FHIR 포맷으로 구조화한다. 이 과정에서 원본 영상은 클라우드로 전송되지 않아 대역폭 사용량이 최소화되고, 개인정보 보호 측면에서도 장점이 있다.

두 번째 문제는 LLM을 활용한 의미론적 인터페이스 설계에 있다. 클라우드 측에 배치된 대형 언어 모델은 사전 학습된 의료 도메인 지식을 바탕으로, 음성 인식(ASR) 결과를 프롬프트로 변환한다. 프롬프트 엔지니어링 기법을 적용해 의사의 질의 의도를 파악하고, FHIR 데이터베이스에 대한 동적 SQL 생성·실행을 수행한다. 결과는 자연어 형태로 반환되며, 필요 시 시각화 차트나 트렌드 그래프를 추가 제공한다. 이때 모델은 재학습 없이도 컨텍스트‑어웨어하게 동작하도록 설계돼, 시스템 전체의 연산 부하를 크게 증가시키지 않는다.

시스템 전체는 클라우드‑엣지‑엔드 3계층 아키텍처로 구성된다. 엣지 디바이스는 실시간 감시와 초기 전처리를 담당하고, 클라우드 서버는 데이터 통합·LLM 서비스·보안·스케일링을 담당한다. 최종 사용자(간호사·의사)는 모바일 혹은 데스크톱 클라이언트를 통해 음성 질의를 전송하고, 실시간 응답을 받는다. 실험에서는 화면 인식 정확도가 98% 이상, OCR 문자 인식 정확도가 96%에 달했으며, LLM 기반 질의 응답 평균 지연시간이 1.2초 이하로 측정되었다. 이러한 결과는 기존 수동 입력 대비 오류율을 70% 이상 감소시키고, 의사의 데이터 조회 시간을 60% 이상 단축함을 의미한다.

전반적으로 이 논문은 비접촉식 시각 인식과 대형 언어 모델을 결합한 인간‑AI 협업 프레임워크를 제시함으로써, ICU와 같은 고위험 환경에서 데이터 신뢰성, 시스템 확장성, 사용자 경험을 동시에 개선할 수 있음을 입증한다.