ViviDoc: 인간‑에이전트 협업으로 인터랙티브 교육 문서 자동 생성

초록

ViviDoc은 주제 하나만 입력하면 인간과 LLM 기반 에이전트가 협업해 인터랙티브 교육 문서를 만들도록 설계된 시스템이다. 핵심은 인간이 검토·수정할 수 있는 중간 형식인 DocSpec(문서 사양)와 Planner‑Executor‑Evaluator 3‑에이전트 파이프라인이다. DocSpec은 각 시각화 단위를 State·Render·Transition·Constraint(SRTC) 네 요소로 구조화해 의도와 코드 사이의 격차를 메우고, 인간이 코드 생성 전 단계에서 직관적으로 편집할 수 있게 한다. 실험에서는 101개의 실제 인터랙티브 문서를 기반으로 만든 벤치마크에서, 인간이 개입하지 않은 Naïve Agent 대비 내용 풍부성·상호작용 품질·시각적 완성도가 크게 향상되었으며, 사용자 연구에서도 DocSpec 편집 UI가 사용하기 쉽고 효과적이라는 결과를 얻었다.

상세 분석

ViviDoc은 “플래너‑실행기‑평가기”라는 3‑에이전트 구조를 채택함으로써 LLM 기반 자동 생성의 전형적인 문제점—출력의 통제 불가능성, 검증 어려움, 인간 피드백 부재—을 근본적으로 해결한다. 플래너는 주어진 주제를 토픽 트리 형태의 지식 단위(Knowledge Unit)로 분해하고, 각 단위마다 텍스트 설명과 인터랙션 사양을 동시에 생성한다. 여기서 인터랙션 사양은 Munzner의 What‑Why‑How 프레임워크를 확장한 SR​TC 모델(State, Render, Transition, Constraint)로 정의된다. State는 사용자 조작 가능한 변수와 파생 변수의 타입·범위·기본값을 명시하고, Render는 상태를 시각적으로 매핑하는 방식을, Transition은 사용자 행동이 상태에 미치는 변화를, Constraint는 학습자가 발견해야 할 핵심 인사이트를 기술한다. 이러한 구조화는 플래너가 생성한 DocSpec이 인간에게 직관적인 검토 포인트를 제공하도록 설계되었으며, 코드 생성 단계에서 실행기가 자연어가 아닌 명확한 스키마를 입력받아 HTML·CSS·JS를 자동 합성한다. 실행기는 텍스트와 시각화 두 단계로 나뉘어 각각 독립적인 LLM 호출을 수행하고, 실패 시 재시도(k번) 메커니즘을 적용해 안정성을 높인다. 평가기는 LLM을 활용해 문서 전체의 논리적 일관성을 점검하고, HTML 유효성 검사를 통해 기술적 오류를 탐지한다. 오류가 발견되면 피드백을 플래너·실행기로 되돌려 재생성 루프를 형성한다. 인간 검토는 플래너‑실행기 사이와 최종 출력 후 두 차례 제공되며, 사용자는 DocSpec의 각 필드를 직접 수정하거나 자연어 챗 인터페이스를 통해 의도를 전달한다. 이는 “코드 없이 인터랙션 파라미터를 조정한다”는 수준의 저비용 편집을 가능하게 한다. 실험에서는 101개의 실제 인터랙티브 문서를 11개 도메인에 걸쳐 수집한 데이터셋을 구축하고, 무작위 추출된 10개 토픽에 대해 ViviDoc과 Naïve Agent(단일 호출로 전체 HTML 생성) 두 방법을 비교했다. 전문가 블라인드 평가는 5점 Likert 척도로 내용 풍부성, 인터랙션 품질, 시각적 품질을 평가했으며, ViviDoc이 평균 4.2점(naïve 2.8점)으로 유의미하게 우수했다. 사용자 연구에서는 DocSpec 편집 UI가 학습 곡선이 짧고, 편집 후 만족도가 4.5/5에 달했다는 결과가 보고되었다. 전반적으로 ViviDoc은 인간‑에이전트 협업을 위한 명확한 중간 표준을 제시함으로써, 교육용 인터랙티브 콘텐츠 제작의 진입 장벽을 크게 낮추는 동시에 자동 생성물의 품질과 검증 가능성을 동시에 확보한다.