FDA AI 검색: FDA 승인 AI 의료기기 탐색을 위한 의미 기반 검색 엔진

초록

본 논문은 FDA가 승인한 1,200여 개 AI 기반 의료기기의 메타데이터와 PDF 요약문을 LLM으로 추출·임베딩하여 의미 검색이 가능한 웹 서비스 “FDA AI Search”를 구현하고, 임베딩 기반 검색과 전통적 BM25를 결합한 하이브리드 알고리즘의 성능을 정량·정성 평가한 결과, 기존 키워드 검색보다 높은 정확도와 빠른 응답 속도를 보였음을 보고한다.

상세 분석

본 연구는 현재 FDA 데이터베이스가 제공하는 제한된 메타데이터와 비검색 가능한 PDF 요약문이라는 구조적 문제를 해결하고자, 두 단계의 파이프라인을 설계하였다. 첫 번째 단계에서는 FDA AI 디바이스 리스트(2025년 7월 10일 기준)와 각 디바이스에 연결된 승인 요약 PDF를 자동 스크래핑한다. PDF는 Gemini‑2.5‑flash 모델을 이용해 5가지 기본 특징(‘summary’, ‘keywords’, ‘relevant questions’, ‘thesis’, ‘key concepts’)을 추출하고, 추가적으로 ‘search boost’와 3개의 ‘query match’ 문장을 생성한다. 총 7개의 특징이 최종 임베딩 대상이 되며, ‘summary’와 ‘key concepts’는 중복성을 이유로 제외하였다.

두 번째 단계에서는 MedEmbed‑small‑v0.1(384‑dim) 모델을 사용해 각 특징을 벡터화한다. 검색 시 사용자는 자유 텍스트 질의를 입력하고, 동일한 임베딩 모델로 질의를 벡터화한다. 각 디바이스에 대해 7개의 특징 벡터와 질의 벡터 간 코사인 유사도를 계산하고, 이를 가중합(w_i)한 값에 BM25 점수를 λ 비율로 혼합한다. 가중치 w_i와 λ는 Optuna 기반 베이지안 최적화와 그리드 탐색을 통해 각각 Hit@5 평균을 최대화하도록 튜닝하였다. 최적화 과정에서는 50개의 디바이스에 대해 Gemini‑3 모델이 생성한 가상 질의를 사용했으며, 과적합 방지를 위해 매 트라이얼마다 20% 데이터를 교체하였다.

성능 평가는 두 가지 실험으로 나뉜다. 첫 번째는 McNamara et al.이 구축한 140개 이미지 해석 AI 디바이스 데이터베이스를 활용해 질의(질병명 또는 질병+영상 modality)당 정답 디바이스의 순위를 측정한 것이다. 임베딩 단독, BM25 단독, 하이브리드 세 모델 모두 평균 순위가 1~2위에 머물렀으며, 특히 하이브리드 모델은 Hit@1이 0.829, Hit@3이 0.951로 가장 높은 정확도를 보였다. 두 번째는 22,552개의 시뮬레이션 질의에 대한 평균 응답 시간 0.38초(표준편차 0.11초)로 실시간 검색에 충분히 빠른 성능을 확인하였다.

정성 평가에서는 키워드 검색이 “genitourinary”와 같이 전문 용어에 대해 전혀 결과를 반환하지 못하는 반면, 의미 검색은 관련 디바이스를 성공적으로 찾아내는 사례를 제시하였다. UI는 React/Next.js와 Vercel을 이용해 구현되었으며, 키워드 검색 옵션도 제공해 빠른 조회를 지원한다.

한계점으로는 LLM 기반 특징 추출 과정에서 발생할 수 있는 hallucination 및 편향 위험, 그리고 현재 FDA 데이터가 충분히 구조화되지 않아 평가용 골드 스탠다드가 제한적이라는 점을 언급한다. 향후 사용자 연구와 지속적인 데이터 업데이트, 그리고 추출 프롬프트와 임베딩 모델의 지속적 개선이 필요하다.