초보 연구자를 위한 가설 생성 지원 시각화 시스템 AwesomeLit

초록

AwesomeLit은 초보 연구자가 낯선 분야를 탐색하고 논문 사이의 의미적 관계를 시각화하면서, LLM 기반 에이전트의 검색·리뷰·합성 과정을 투명하게 제어할 수 있게 하는 인간‑AI 협업 도구이다. 투명 워크플로, 쿼리 탐색 트리, 의미 유사도 뷰를 제공해 사용자가 단계별로 키워드를 수정·재실행하고, 논문 선택 근거를 직접 검증하도록 설계되었다. 7명의 대학원생을 대상으로 한 정성·정량 평가에서 사용성·신뢰성·가설 도출 효율성이 높은 것으로 나타났다.

상세 분석

본 논문은 초보 연구자가 “주제 이해 → 가설 발굴”이라는 순환적 연구 과정을 수행할 때 겪는 ‘목표 흐릿함’, ‘키워드 격차’, ‘AI 블랙박스’ 문제를 해결하고자 한다. 이를 위해 저자들은 세 가지 핵심 시각화 모듈을 설계하였다. 첫째, **투명 워크플로(Transparent Workflow)**는 LLM 에이전트의 파이프라인을 ‘검색(Search)’, ‘리뷰(Review)’, ‘합성(Synthesis)’ 노드로 분할하고, 각 노드 실행 후 자동으로 일시정지한다. 사용자는 Inspector Panel을 통해 중간 결과를 확인하고, 키워드 수정·노드 재실행 등 세밀한 개입이 가능하다(R4). 이는 기존 ‘원-스텝 질문‑답변’ 도구와 달리 인간‑AI 사이에 공유된 메타 모델을 형성해 신뢰성을 크게 향상시킨다.

둘째, **쿼리 탐색 트리(Query Exploring Tree)**는 연구 질문의 진화 과정을 트리 구조로 외재화한다. 각 브랜치는 ‘가능한 방향(Possible Directions)’을 자동 제안하고, 엣지에 표시되는 ‘semantic offset(주제 편차)’와 ‘semantic delta(키워드 변동)’ 수치를 통해 사용자는 탐색 폭(넓게 vs. 깊게)을 직관적으로 판단한다. 이는 D3(연구 질문의 자연스러운 전이 지원)를 충족시키는 설계로, 사용자는 기존 탐색 상태를 유지하면서 새로운 서브필드로 피벗하거나 이전 단계로 되돌아갈 수 있다.

셋째, **의미 유사도 뷰(Semantic Similarity View)**는 논문 초록을 OpenAI text‑embedding‑3‑small 모델로 고차원 임베딩한 뒤 UMAP으로 2차원에 투사한다. 논문은 색상(녹색‑수용, 적색‑거부, 청색‑미정)과 glyph 형태로 표시되며, hover 시 메타데이터 카드가 나타난다. 이 시각적 근거는 사용자가 ‘논문 간 의미적 거리’를 직접 확인하고, D1(빠른 필터링·검증) 요구를 충족한다. 또한 트리와 연동돼 특정 탐색 단계에 해당하는 논문만 강조 표시함으로써, 사용자는 탐색 흐름과 증거 사이의 연결 고리를 명확히 파악한다.

시스템 구현 측면에서 저자들은 GPT‑5‑mini를 LLM 백엔드로 채택하고, arXiv API를 논문 소스로 활용했다. 모델 선택은 고성능 추론과 낮은 지연시간 사이의 균형을 고려한 것으로 보인다. 인터페이스는 웹 기반 D3.js와 React를 활용해 실시간 노드 상태와 그래프 업데이트를 지원한다.

평가에서는 7명의 최종학년 CS 학생을 대상으로 90분 세션(탐색·작업·인터뷰)과 7점 Likert 설문을 진행했다. 투명 워크플로에 대한 만족도 평균(M=6.00), ‘검색·리뷰·합성 구분이 명확했다’(6/7), ‘키워드 확장이 이해에 도움이 됐다’(5/7) 등 긍정적 결과가 도출되었다. 다만 초기 키워드가 과도히 광범위(XAI)였던 점을 지적하며, 보다 세밀한 프롬프트 가이드가 필요함을 시사한다.

전체적으로 AwesomeLit은 (1) 인간 중심 설계(신뢰·조정 가능성), (2) 시각적 증거 제공(의미 유사도·쿼리 트리), (3) 단계별 인터벤션(워크플로 일시정지) 라는 세 축을 통해 초보 연구자의 가설 생성 과정을 구조화하고, 기존 LLM 기반 도구의 블랙박스 문제를 효과적으로 완화한다는 점에서 의의가 크다. 향후 연구에서는 다중 데이터베이스 연동, 협업 모드 지원, 그리고 자동화된 가설 평가 메트릭을 추가해 시스템의 확장성을 검증할 필요가 있다.