AI 협업 기반 과학 리뷰·전망 논문 자동화 프레임워크 AIssistant

초록

AIssistant는 인간과 대형 언어 모델(LLM) 에이전트를 결합해 데이터 과학 분야의 리뷰 및 전망 논문을 효율적으로 생성하는 오픈소스 프레임워크이다. 7개의 연구 에이전트와 8개의 논문 작성 에이전트로 구성된 다중 에이전트 파이프라인을 제공하며, 외부 학술 검색 도구와 인간의 중간 검토를 통해 품질을 유지한다. 실험 결과 OpenAI o1 모델이 체인‑오브‑생각(CoT) 프롬프트와 문헌 검색 도구를 활용할 때 가장 높은 점수를 받았고, 인간‑AI 협업을 통해 평균 65.7 %의 시간 절감 효과가 확인되었다.

상세 분석

AIssistant는 기존 AI Scientist 계열이 주로 완전 자동화에 초점을 맞춘 것과 달리, 인간‑AI 협업(HITL) 구조를 핵심 설계 원칙으로 채택했다. 연구 워크플로우는 아이디에이션, 연구 질문 도출, 관련 문헌 탐색, 방법 설계, 구현, 결과 정리, 분석의 7단계 에이전트로 이루어지며, 각각 LLM 기반 프롬프트와 외부 도구(예: Semantic Scholar, ORKG ASK)를 활용한다. 논문 작성 워크플로우는 제목, 초록, 서론, 관련 연구, 방법·구현, 결과·논의, 결론, LaTeX 정제의 8단계 에이전트로 구성돼, 각 단계에서 생성된 텍스트를 ‘Asset’이라 부르는 중간 산출물 형태로 저장하고, 인간 사용자가 선택·수정할 수 있게 설계되었다. 수학적 형식으로는 각 에이전트를 함수 F_i(U_i,P_i,T_i,A_{-i})→(M_i,A_i) 로 정의하고, 전체 파이프라인을 함수 합성 F₁∘…∘F_N 형태로 표현한다. 이는 인간이 개입하는 시점마다 자산(A) 업데이트가 이루어져, 최종 원고 M_final = F_pipeline(U,P,T,A) 로 수렴한다는 점에서 투명성과 추적 가능성을 확보한다.

평가에서는 48개의 논문(리뷰·전망 각각 24편)을 두 명의 박사급 연구자가 직접 실행했으며, LLM은 OpenAI o1와 gpt‑4o‑mini 두 종류를 동일 프롬프트(Zero‑Shot, Few‑Shot, CoT)와 문헌 검색 도구 사용 여부에 따라 실험했다. 인간 전문가와 LLM(GPT‑5) 리뷰어가 NeurIPS 기준에 맞춰 67개 항목을 채점했으며, 평균 점수, 환각 비율, 윤리적 우려 등을 비교했다. 결과는 o1가 CoT 프롬프트와 LS 도구 결합 시 가장 높은 인간‑LLM 일치 점수(2.792.82)를 기록했으며, 특히 구조적 일관성·인용 정확도에서 큰 개선을 보였다. gpt‑4o‑mini는 비용 효율성이 뛰어나(논문당 $0.0022~$0.0019) 비용 대비 품질이 비교적 낮았지만, 저비용 시나리오에서 실용적이다. 시간 절감 설문에서는 평균 65.7 %의 작업 시간이 단축된 것으로 보고되었으며, 이는 인간이 아이디어와 최종 검증에 집중하고 반복적인 문서 작성은 에이전트에 위임함으로써 얻어진 효과이다. 하드웨어 의존성도 낮아 CPU만으로 충분히 실행 가능하다는 점이 실무 적용성을 높인다. 전체적으로 AIssistant는 인간의 전문성을 보존하면서도 LLM 에이전트의 생산성을 극대화하는 균형 잡힌 설계임을 입증한다.