바이오메크에이전트 코드 생성 AI로 움직임 분석을 쉽게

초록

바이오메크에이전트는 자연어 질의를 통해 데이터베이스 조회, 코드 자동 생성, 시각화 및 임상 해석까지 수행하는 코드‑생성형 AI 에이전트이다. 마커리스 모션 캡처 데이터에 특화된 도구와 biomechanical 전용 프롬프트를 결합해 데이터 검색·시각화·활동 분류·시간 구간 분할·임상 추론 등 7개 영역의 벤치마크에서 높은 정확도를 보였다. 특히 전용 gait‑transformer 도구와 맞춤형 시스템 프롬프트가 성능을 크게 끌어올렸으며, 클라우드 기반 Gemini 모델이 로컬 MedGemma 모델보다 전반적으로 우수했다.

상세 분석

본 논문은 마커리스 모션 캡처가 보편화됨에 따라 비전문가가 데이터를 직접 분석하기 어려운 문제를 해결하고자, 코드‑생성형 LLM을 에이전트화한 “BiomechAgent” 시스템을 제안한다. 핵심 아키텍처는 smolagents 프레임워크 위에 구축된 파이썬 코드 자동 생성·실행 루프이며, 사용자는 자연어 질의만 입력한다. 에이전트는 질의를 해석해 필요한 연산 단계를 계획하고, 데이터베이스 조회, gait‑event 검출, 시각화 등 전용 툴을 호출하는 파이썬 코드를 작성한다. 코드가 완성되면 샌드박스 환경에서 실행되고, 결과(수치·플롯)가 LLM에 다시 피드백되어 추가 추론이나 최종 답변을 생성한다.

두 종류의 LLM 백엔드를 비교했는데, 클라우드 기반 Gemini 2.5 Flash Lite는 대규모 파라미터와 최신 사전학습 덕분에 복합적인 시각·수치 추론에서 일관된 성능을 보였다. 반면 로컬 MedGemma 27B는 연산 비용 절감이라는 장점이 있지만, 특히 데이터베이스 조회 외의 복합 작업(시각화·임상 추론)에서 정확도가 크게 떨어졌다. 이는 현재 의료 특화 오픈‑모델이 아직 대형 상용 모델에 비해 일반화 능력이 부족함을 시사한다.

프롬프트 설계에서도 중요한 교훈을 얻었다. biomechanical 전용 시스템 프롬프트에 “관절 각도는 도(degree) 단위, 좌·우는 일관된 색상 사용” 등 구체적인 도메인 규칙을 삽입함으로써 코드 오류(예: 라이브러리 미불러오기, 축 라벨 누락)를 현저히 감소시켰다. 또한 “임상 가설을 세우고 데이터로 검증하라”는 메타 프롬프트는 에이전트가 단순히 결과를 출력하는 수준을 넘어, 논리적 추론 과정을 거쳐 답변을 도출하도록 유도했다.

벤치마크는 7개 카테고리(데이터베이스, 활동 분류, 시공간 파라미터, 임상, 구간 분할, 시각화, 인지)로 구성됐으며, 각 카테고리마다 정량적 정확도와 LLM‑as‑Judge 기반의 질적 평가를 병행했다. 결과적으로 데이터베이스 질의와 기본 시각화에서는 95 % 이상 정확도를 기록했으며, gait‑transformer 도구를 활용한 spatiotemporal 파라미터 추정에서도 88 % 이상의 정확도를 달성했다. 반면 활동 분류와 임상 추론에서는 2AFC 정확도가 70 % 수준에 머물렀는데, 이는 훈련 데이터의 다양성 부족과 복합적인 임상 패턴 인식의 난이도 때문으로 해석된다.

에이전트가 생성한 코드의 오류율은 전체 실행 중 4 % 미만으로 낮았으며, 평균 응답 시간은 12 초(클라우드)와 18 초(로컬) 수준이었다. 토큰 사용량은 질의 복잡도에 따라 차이가 있었지만, 대부분의 작업에서 2 k 토큰 이하로 효율적인 비용을 유지했다.

한계점으로는 (1) 현재 시스템이 영상 입력을 직접 처리하지 못하고, 사전 처리된 kinematic 데이터에만 의존한다는 점, (2) LLM‑as‑Judge 평가가 주관적일 수 있어 객관적인 메트릭이 필요하다는 점, (3) 로컬 모델의 성능 격차가 여전히 크다는 점을 들 수 있다. 향후 연구에서는 멀티모달 VLM 통합, 도메인‑특화 파인튜닝, 그리고 실시간 피드백을 지원하는 인터랙티브 디버깅 인터페이스를 개발해 임상 현장 적용성을 높일 계획이다.