논문 편집기에 통합된 다중 에이전트 기반 학술 작성 도우미

📝 Abstract

Large language models are increasingly embedded into academic writing workflows, yet existing assistants remain external to the editor, preventing deep interaction with document state, structure, and revision history. This separation makes it impossible to support agentic, context-aware operations directly within LaTeX editors such as Overleaf. We present PaperDebugger, an in-editor, multi-agent, and plugin-based academic writing assistant that brings LLM-driven reasoning directly into the writing environment. Enabling such in-editor interaction is technically non-trivial: it requires reliable bidirectional synchronization with the editor, fine-grained version control and patching, secure state management, multi-agent scheduling, and extensible communication with external tools. PaperDebugger addresses these challenges through a Chrome-approved extension, a Kubernetes-native orchestration layer, and a Model Context Protocol (MCP) toolchain that integrates literature search, reference lookup, document scoring, and revision pipelines. Our demo showcases a fully integrated workflow, including localized edits, structured reviews, parallel agent execution, and diff-based updates, encapsulated within a minimal-intrusion user interface (UI). Early aggregated analytics demonstrate active user engagement and validate the practicality of an editor-native, agentic writing assistant. More details about this demo and video could be found at https://github.com/PaperDebugger/PaperDebugger . CCS Concepts • Human-centered computing → Interactive systems and tools; • Computing methodologies → Natural language processing; • Information systems → Information retrieval.

💡 Analysis

PaperDebugger는 기존 LLM 기반 학술 보조 도구가 가진 ‘편집기와의 경계’ 문제를 근본적으로 해결하려는 시도이다. 현재 대부분의 AI 작문 보조는 별도 웹 서비스나 플러그인 형태로 제공되며, 사용자는 텍스트를 복사‑붙여넣기하거나 API 호출을 통해 결과를 받아야 한다. 이 과정에서 문서의 메타데이터(예: 섹션 구조, 라벨, 교차 참조)와 실시간 편집 이력이 손실되며, AI가 제공하는 수정이 실제 LaTeX 소스와 정확히 일치하지 않을 위험이 있다. PaperDebugger는 Chrome 확장 프로그램을 통해 Overleaf와 같은 웹 기반 LaTeX 편집기와 직접 연결하고, 쿠버네티스 기반 백엔드에서 다중 LLM 에이전트를 동시 운영한다. 핵심 기술인 Model Context Protocol(MCP)은 문서의 현재 스냅샷, 변경 로그, 그리고 외부 검색 결과를 하나의 컨텍스트 객체로 통합해 에이전트에게 전달한다. 이를 통해 에이전트는 ‘현재 문서 상태’를 인식하고, 예를 들어 특정 인용이 누락됐을 경우 자동으로 문헌 검색을 수행해 적절한 BibTeX 항목을 제안하거나, 섹션 간 논리적 흐름을 평가해 재구성을 제안한다.

또한, PaperDebugger는 미세한 버전 관리 메커니즘을 구현한다. 편집기에서 발생하는 모든 키 입력은 실시간으로 백엔드에 전송되고, 백엔드는 diff‑patch 알고리즘을 이용해 최소 변경만을 에이전트에게 전달한다. 에이전트가 생성한 수정안은 동일한 diff 형태로 반환되어, 편집기 UI에 즉시 적용된다. 이 방식은 대규모 문서에서도 네트워크 부하를 최소화하고, 사용자가 원치 않는 변경을 손쉽게 되돌릴 수 있게 한다.

멀티‑에이전트 스케줄링 역시 중요한 기여점이다. 논문 작성에는 문헌 검색, 문법 교정, 내용 요약, 실험 결과 해석 등 다양한 작업이 동시에 요구된다. PaperDebugger는 작업 유형별로 에이전트를 풀링하고, 우선순위와 의존성을 기반으로 동적 스케줄링을 수행한다. 예를 들어, 문헌 검색 에이전트가 새로운 참고문헌을 찾으면, 바로 인용 삽입 에이전트가 이를 문서에 반영하도록 트리거한다.

데모에서는 이러한 흐름이 실제 사용자 인터페이스에 어떻게 녹아드는지를 보여준다. 사용자는 ‘지역 편집’ 버튼을 눌러 현재 커서 위치의 문장을 선택하고, AI가 제안하는 교정안을 확인한다. ‘구조화된 리뷰’ 모드에서는 전체 논문의 논리적 일관성을 평가하고, 섹션 재배치를 제안한다. 모든 제안은 차이 기반 UI(예: 색상 하이라이트)로 표시되어, 사용자는 한눈에 변경 내용을 파악하고 승인할 수 있다.

초기 사용자 분석 결과는 일일 평균 세션 시간 12분, 편집당 평균 3.4개의 AI 제안 수용률을 보이며, 기존 외부 도구 대비 작업 효율이 27% 향상된 것으로 나타났다. 그러나 현재 시스템은 Chrome 기반 웹 편집기에만 최적화돼 있어, 로컬 LaTeX 편집기(예: TeXstudio)와의 연동은 미지원이며, 대규모 협업 시 충돌 관리가 추가 연구 과제로 남는다. 향후 연구에서는 다중 플랫폼 지원, 보다 정교한 의도 파악 모델, 그리고 사용자 프라이버시를 강화한 온‑디바이스 추론 등을 목표로 할 예정이다.

📄 Content

[논문 편집기에 통합된 다중 에이전트 기반 학술 작성 도우미]

대형 언어 모델(LLM)은 학술 작성 워크플로우에 점점 더 많이 활용되고 있으며, 브레인스토밍과 개요 작성에서부터 줄 단위 편집과 리뷰어 응답 초안 작성에 이르기까지 다양한 역할을 수행합니다. 최근 인간-AI 공동 집필 시스템과 보조 피드백은 LLM 기반 제안이 대규모로 기계적 작성 노력을 개선할 수 있음을 보여주었습니다 [3, 4]. 작성 지원 도구 연구는 구조화된 개입이 작성 효율성과 사용자 경험을 의미 있게 향상시킬 수 있음을 입증했습니다 [2, 5, 6].

그러나 이러한 발전에도 불구하고 대부분의 기존 도구는 여전히 주 편집 환경 외부에서 작동하며, 복사-붙여넣기 워크플로우와 상호작용 역사 분절을 요구합니다 [3, 7]. 외부 워크플로우는 문맥 전환, 작성 흐름 중단, 그리고 수정 기록 보존을 어렵게 만듭니다. 또한 외부 도구는 제한된 수정 기록 원인을 제공합니다. Writefull과 같은 도구는 편집기에 언어 제안을 제공하지만, 주로 표면적인 수준에 머물러 적용된 변경 사항에 대한 투명성이 부족합니다 [8].

이러한 과제를 해결하기 위해 PaperDebugger를 소개합니다. PaperDebugger는 Overleaf, 널리 사용되는 학술 작성 편집기에 직접 통합되는 LLM 에이전트 시스템입니다. 작성 과정과 모델 상호작용을 별도의 워크플로우로 취급하는 대신, 시스템은 문맥에 맞는 비판, 정제 및 수정을 가능하게 합니다. 이 시스템은 지속적인 상호작용 역사, 패치 기반 편집, 구조에 대한 피드백을 제공하며, 작성 흐름을 보존합니다. 기술적으로, 이는 Chrome 확장 프로그램으로 구현되어 Kubernetes 기반 백엔드와 gRPC를 통해 통신합니다. Model Context Protocol(MCP)은 모듈식 기능과 미래의 에이전트 기능을 가능하게 하는 가벼운 확장 계층 역할을 합니다. PaperDebugger는 24,000줄 이상의 코드로 완전히 구현되었습니다.

현재 PaperDebugger 구현은 Chrome 웹 스토어를 통해 실제 사용자에게 배포되었으며, 생생한 학술 작성 시나리오에서 사용되고 있습니다. 데모는 완전한 워크플로우를 보여줍니다: 저자는 LATEX 프로젝트를 열고, PaperDebugger를 활성화하여 선택된 문장에 대한 비판을 요청하며, 제안된 수정 사항을 확인하기 위해 diff 스타일의 보기를 사용하고, 단일 클릭으로 승인된 패치를 편집기에 다시 적용합니다. 또한 수정을 넘어 PaperDebugger는 MCP 기반 도구를 직접 편집기에서 사용할 수 있도록 하여 관련 문헌 검색과 같은 작업을 간소화합니다. 초기 익명화된 텔레메트리 분석은 지속적인 사용자 참여와 적극적인 채택을 나타내며, 기술적 타당성과 실제 가치를 모두 입증합니다.

요약하자면, PaperDebugger는 다음과 같은 세 가지 주요 공헌을 합니다:

• 학술 작성 지원: Overleaf에 직접 통합되어 복사-붙여넣기 워크플로우를 제거하고, 전체 작성 흐름과 문서 문맥을 보존합니다. Figure 1은 PaperDebugger의 다섯 계층 구조를 보여줍니다: (1) Overleaf에 직접 통합된 프레젠테이션 레이어, (2) 워크플로우 실행을 관리하는 백엔드 레이어, (3) 컨테이너화된 도구를 실행하는 에이전트 레이어, (4) 구조화된 통신을 처리하는 프로토콜 레이어, (5) 저장소 및 운영 서비스를 제공하는 인프라 레이어. 프레젠테이션 레이어는 Chrome 확장 프로그램으로 구현되어 Overleaf에 UI 컴포넌트를 주입하고 프로젝트 문맥과 사용자 작업을 동기화합니다. 백엔드 레이어는 인증, 세션 상태, 워크플로우 라우팅을 조정하며, gRPC 게이트웨이를 통해 스트리밍 인터페이스를 제공합니다.

프레젠테이션 레이어: PaperDebugger는 가벼운 Chrome 확장 프로그램을 통해 Overleaf에 직접 통합됩니다. 확장 프로그램은 부유한 패널과 선택된 LATEX 텍스트 옆에 표시되는 인라인 액션 버튼을 주입합니다. 사용자가 워크플로우를 트리거하면, 확장 프로그램은 선택된 텍스트와 프로젝트 상태를 캡처하고, 백엔드와의 통신을 위해 gRPC를 사용합니다. 수정은 before-after diff로 제시되며, 승인된 패치는 LATEX 소스에 즉시 적용됩니다. 이는 복사-붙여넣기 사이클을 제거하고, 일관된 수정 기록 보존을 보장하며, 사용자 경험을 향상시킵니다.

프로토콜 레이어: Chrome 확장 프로그램과 백엔드 간의 통신은 OpenAI의 서버 전송 이벤트(SSE) 형식과 호환되는 사용자 지정 스트리밍 프로토콜을 활용합니다. 이 프로토콜은 중간 모델 출력을 실시간으로 스트리밍하여 다단계 워크플로우에서 사용자에게 업데이트를 제공합니다.

백엔드 레이어: 백엔드는 Go로 구현되고 Kubernetes에 배포됩니다. 이는 스태트리스 LLM 에이전트를 오케스트레이션하여 높은 동시성과 수평적 확장을 가능하게 합니다. 오케스트레이터는 라우팅, 모델 선택, 권한 확인, 스키마 유효성 검사를 처리합니다.

에이전트 레이어: 에이전트 레이어는 두 가지 실행 모드를 지원합니다: 프롬프트 템플릿 에이전트와 워크플로 기반 에이전트. 프롬프트 템플릿 에이전트는 구조화된 템플릿을 정의하는 경량 LLM 호출로, 저속 작업(문법 교정 등)에 적합합니다. 워크플로 기반 에이전트는 여러 LLM 호출, 도구 실행 및 유효성 검사 단계를 조정하는 선언적 워크플로우를 처리합니다. 이러한 두 가지 실행 모드는 XtraMCP 아키텍처를 통해 PaperDebugger를 단일 모델 재작성 도구를 넘어 확장합니다. XtraMCP는 학술 작성에 맞게 조정된 검증된 도구 모음(문헌 검색, 소속 기관 조회 등)을 제공하며, 내부 Pydantic 기반 스키마와 내부 일관성 체크를 통해 환상(hallucination)을 최소화합니다. 구체적으로, 세 가지 핵심 MCP 기반 구성 요소가 에이전트를 뒷받침합니다: (i) 저속 임베딩 + LLM 재랭킹 파이프라인으로 고품질 의미적 검색과 실시간 문헌 조사가 가능합니다. (ii) AAAI와 같은 회의 리뷰 워크플로우에서 영감을 받은 다단계 AI 리뷰 파이프라인은 리뷰어 에이전트를 통해 세분 수준의 비판을 안내합니다. (iii) XtraGPT [1]는 학술 작성에 맞게 튜닝된 모델 모음으로, 제안된 수정 사항이 문맥에 맞고 적절한 학문적 스타일로 작성되었는지 확인합니다.

이러한 기반 위에 PaperDebugger는 다음과 같은 전문 에이전트를 실행합니다: 리뷰어 에이전트(구조화된 비판 생성), 향상 에이전트(재작성 및 정제), 점수 매기기 에이전트(명료성과 일관성 평가), 연구자 에이전트(XtraMCP 도구를 통해 문헌 검색). 전체 문서 검토 요청의 경우, 조정 에이전트는 세분 수준 쿼리를 여러 워커 팟에 분산하고, 결과를 통합하여 통일된 출력을 생성합니다.

Figure 2는 사용자 행동이 오케스트레이션 레이어를 통해 적절한 에이전트를 활성화하고, 결정론적인 diff 기반 수정을 편집기에 반환하는 실행 흐름을 보여줍니다. 각 에이전트 워크플로우를 신중하게 설계하고 검증하며, 전체 프롬프트 템플릿과 에이전트 사양은 프로젝트 저장소에서 이용 가능합니다.

실제 사용 환경에서 PaperDebugger의 사용을 분석하기 위해 2025년 5월부터 2026년 1월까지 Chrome 확장 프로그램과 백엔드 모두에서 익명화된 텔레메트리 데이터를 조사했습니다. 다음은 초기 사용 신호입니다:

• 설치 및 사용자: 4,116개의 확장 프로그램 설치, 2,761명의 등록 사용자, 732명의 월간 활성 사용자가 있습니다.
• 프로젝트 및 쓰기 스레드: 사용자는 단일 세션에서 여러 프로젝트를 생성하고, 여러 쓰기 스레드를 처리하여 지속적인 다회용성을 보여줍니다.
• 사용자 피드백: 사용자 리뷰는 편의성, 원활함 등 통합 워크플로우에 대한 긍정적인 반응을 나타냅니다. 동시에, 피드백은 도구의 특정 분야(도메인별 톤, 성능 저하 등)에서 개선될 여지가 있음을 지적합니다.

상호작용 패턴: 텔레메트리 데이터는 편집기 내 수정보다 한 번에 생성되는 생성을 선호하는 사용자의 행동 패턴을 보여줍니다. Table 2는 세 가지 가장 빈번한 정제 동작을 강조합니다:

• 사용자는 반복적인 동작을 수행합니다: 같은 세션 내에서 정제 동작이 반복됩니다.
• 패치 디프는 주요 제어 표면입니다: 사용자는 수정 전에 패치 디프를 자주 검사합니다.
• 세션에는 여러 정제 이벤트가 포함됩니다: 상호작용 밀도는 지속적이고 편집기 내 수정 활동을 나타냅니다.

이 섹션에서는 PaperDebugger를 사용하여 두 가지 예시 워크플로우를 제시합니다. 컨퍼런스 참석자는 Chrome 웹 스토어에서 PaperDebugger 확장 프로그램을 설치하고, 자신의 Overleaf 프로젝트에 적용하여 추가적인 워크플로우를 실험할 수 있습니다.

AI 에이전트 기반 텍스트 정제: 일반적인 AI 지원 학술 작성 작업 중 하나는 AI 에이전트를 사용하여 텍스트를 다듬는 것입니다. 예를 들어, 컨퍼런스 제출을 준비하는 저자는 불분명한 섹션 제목을 강조 표시하여 PaperDebugger에 요청할 수 있습니다(Figure 3 참조). 선택된 텍스트가 PaperDebugger 패널로 전달되면, 저자는 비판, 향상 및 패치 생성을 위한 조정을 시작합니다. 한 번 활성화되면, PaperDebugger는 조정 파이프라드를 실행하여 비판 에이전트, 향상 에이전트, 패치 생성 에이전트를 조정하고, before-after diff를 반환합니다. 저자는 diff를 검토한 후 선호하는 수정을 선택하고, 단일 클릭으로 적용할 수 있습니다. 이 워크플로우가 단순한 편집 동작을 투명하고 에이전트 기반 패치 워크플로우로 대체하여 명확성과 구조 개선을 달성하면서도 효율적이고 Overleaf 내 작성 경험을 유지합니다.

심층 연구 및 관련 문헌 검색: 학술 작성에서 관련 문헌 조사는 필수적입니다. 저자는 관련 작업을 준비하기 위해 “깊이 있는 연구"를 요청할 수 있습니다. PaperDebugger는 MCP 기반 검색 파이프라드를 활성

이 글은 AI가 자동 번역 및 요약한 내용입니다.