연합 에이전트로 과학 워크플로우 혁신하기

초록

본 논문은 고성능 컴퓨팅(HPC), 실험 시설, 데이터 저장소 등 분산된 연구 인프라 전반에 걸쳐 자율 에이전트를 배포·관리할 수 있는 오픈소스 미들웨어 Academy를 제안한다. 비동기 실행, 이기종 자원 지원, 고처리량 데이터 플로우, 동적 가용성 대응 등 과학 컴퓨팅 특성을 반영한 설계와, 이를 검증한 마이크로벤치마크 및 재료 발견·천문학·분산 학습·정보 추출 네 가지 사례 연구를 통해 성능·확장성·자동화 효과를 입증한다.

상세 분석

Academy는 기존 LLM 기반 챗봇 중심의 에이전트 프레임워크와 달리, 연합(Federated) 환경을 전제로 설계된 점이 가장 큰 차별점이다. 논문은 먼저 과학 워크플로우가 겪는 네 가지 핵심 요구사항(R1‑R5)을 도출한다. R1 ‘연합 오케스트레이션’은 서로 다른 관리 도메인에 존재하는 슈퍼컴퓨터·실험 장비에 에이전트를 동시에 배치하고 lifecycle을 제어해야 함을 의미한다. R2 ‘구성 가능한 데이터 플레인’은 시뮬레이션 단계별 대용량 데이터 전송을 위해 MPI, RDMA, 파일 전송 등 다양한 전송 메커니즘을 선택적으로 적용할 필요성을 강조한다. R3 ‘시간적으로 분리된 메시징’은 연구 시설의 가동률이 클라우드보다 낮아, 에이전트 간 통신이 일시적인 단절을 견디고 재전송·큐잉을 지원해야 함을 뜻한다. R4 ‘에이전트 인증·권한 부여’는 인프라 접근 권한을 최소화하고, 토큰 기반 혹은 X.509 인증을 통해 에이전트가 안전하게 자원을 사용할 수 있게 한다. R5 ‘탄력적인 상태 관리’는 에이전트가 장기 실행 중에도 내부 상태(예: 학습 모델 파라미터, 실험 진행 상황)를 지속적으로 보존하고 복구할 수 있어야 함을 요구한다.

이러한 요구를 충족하기 위해 Academy는 Actor‑like 모델을 기반으로 **Control Plane(Executor)**과 **Data Plane(Exchange)**을 명확히 분리한다. 에이전트는 Python 클래스로 정의되며, @action 데코레이터로 원격 호출 가능한 메서드, @loop·@timer·@event 등으로 비동기 제어 루프를 구현한다. 실행 시 Runtime이 에이전트의 on_startup 콜백을 호출하고, 각 루프를 asyncio 태스크로 스케줄링한다. 메시지는 Exchange가 관리하는 Mailbox에 큐잉되며, 클라이언트(다른 에이전트 혹은 사용자)는 Handle 객체를 통해 투명하게 비동기 호출을 수행한다. 이 설계는 단일 Mailbox당 하나의 리스너를 보장해 중복 수신을 방지하고, 메시지 손실 없이 재시도 로직을 구현할 수 있게 한다.

성능 평가에서는 HPC 클러스터(예: Slurm 기반)와 Cloud‑VM을 혼합한 환경에서 1,000개 이상의 에이전트를 동시에 띄우고, 10 GB/s 수준의 데이터 파이프라인을 유지하며, 평균 레이턴시가 20 ms 이하임을 보였다. 특히, 자원 가용성이 변동하는 상황(노드 재시작, 네트워크 파티션)에서도 에이전트가 자동으로 재연결하고 상태를 복구하는 모습을 실험적으로 확인했다. 이는 기존 워크플로우 엔진(예: Airflow, Pegasus)이 제공하지 못하는 상태 지속성 + 비동기 메시징을 동시에 제공한다는 의미다.

사례 연구는 Academy의 적용 가능 범위를 넓게 보여준다. (1) 재료 발견에서는 MOF 후보 생성·시뮬레이션 파이프라인을 여러 슈퍼컴퓨터에 분산하고, 에이전트가 실시간으로 후보를 평가·필터링해 실험실에 전달한다. (2) 천문학에서는 원격 망원경 제어 에이전트가 관측 파라미터를 실시간 보정하고, 데이터 전처리 에이전트와 연동해 파이프라인 지연을 최소화한다. (3) 분산 학습에서는 각 노드에 배치된 에이전트가 로컬 모델 업데이트를 수행하고, 중앙 교환(Exchange)에서 파라미터를 집계·전파한다. (4) 정보 추출에서는 문헌 검색·코드 생성 에이전트가 데이터베이스와 연동해 자동으로 최신 논문을 수집하고, 코드 스니펫을 생성해 연구자에게 제공한다. 모든 사례에서 에이전트는 자율적인 의사결정과 인프라 관리를 동시에 수행해 인간 개입을 최소화하고, 전체 사이클 타임을 30‑50 % 단축했다.

한계점으로는 현재 Python 중심 구현으로 인해 초고성능(예: 실시간 1 µs 레이턴시) 요구가 있는 실험 제어에는 추가 최적화가 필요하고, 보안 모델이 토큰 기반에 국한돼 있어 고보안 연구소에서는 별도 인증 연동이 요구된다. 또한, 에이전트 간 복잡한 협상 프로토콜(예: 계약 기반 협상) 구현을 위한 고수준 DSL이 아직 부족하다. 향후 작업으로는 C++/Rust 기반 런타임 구현, Zero‑Trust 인증 체계 도입, 그리고 멀티‑에이전트 의사결정 알고리즘(예: 협업 강화학습) 통합이 제시된다.

전반적으로 Academy는 연합 과학 인프라에서 에이전트 기반 자동화를 실현하기 위한 핵심 미들웨어로, 기존 워크플로우 시스템이 제공하지 못한 상태 지속성, 비동기 메시징, 이기종 자원 관리 등을 하나의 일관된 API로 제공한다는 점에서 학계·산업계 모두에 큰 파급 효과를 기대할 수 있다.