과학적 아이디어 창출을 위한 인간‑LLM 협업 시스템, Scideator

초록

Scideator는 논문에서 추출한 목적·메커니즘·평가라는 세 가지 ‘facet’를 기반으로, 인간 사용자가 직접 facet를 선택·조합하고 LLM이 유사 논문을 찾아 아이디어를 생성·신규성 검증까지 수행하는 인간‑LLM 복합 시스템이다. 사용자 연구(22명)에서 기존 LLM 기반 베이스라인 대비 아이디어 탐색·표현력에서 유의미한 향상을 보였으며, facet 기반 재랭킹을 통해 신뢰도 높은 신규성 판단(13.79 %→89.66 %)을 달성했다.

상세 분석

본 논문은 과학적 창의성 지원을 위해 ‘facet 기반 아이디어 생성’이라는 기존 연구 흐름을 LLM과 결합한 최초의 시스템을 제안한다. 핵심 설계는 (1) 인간‑인‑루프 방식의 facet 재조합, (2) 거리‑제어된 유사 논문 검색, (3) facet‑기반 신규성 검증이다.
첫 번째 모듈인 Analogous Paper Facet Finder는 입력 논문의 목적‑메커니즘 쌍을 기준으로 ‘근접’, ‘중간’, ‘원거리’ 세 단계의 개념적 거리를 정의하고, 각 거리마다 4개의 논문을 추출한다. 여기서 LLM은 검색 쿼리를 자동 생성하고, Semantic Scholar API를 활용해 논문을 확보한다. 추출된 16개의 논문에 대해 목적·메커니즘·평가를 7단어 이하의 짧은 구문으로 정규화한다. 이 과정은 전체 파이프라인에 일관된 facet 표현을 제공함으로써 이후 단계에서 신호 손실을 최소화한다.
두 번째 모듈인 Faceted Idea Generator는 서로 다른 거리 그룹의 논문 쌍을 매칭해 6개의 후보 유사성을 생성하고, 품질 기준(이해도, 관련성, 실현 가능성, 구체성, 신규성)으로 상위 2개를 선정한다. 선정된 유사성은 ‘목적‑메커니즘 교환’ 방식으로 구체적인 아이디어로 전환된다. 사용자는 목적만, 메커니즘만, 혹은 두 가지 모두를 사전에 지정할 수 있으며, 시스템은 선택된 facet와 다른 거리 그룹의 보완 facet를 자동 매칭한다. 이 설계는 사용자의 탐색 의도를 반영하면서도 다양한 창의적 조합을 보장한다.
세 번째 모듈인 Idea Novelty Verification은 아이디어와 기존 문헌 간의 facet 겹침을 기반으로 후보 논문을 재랭크한다. 기존의 일반적 관련도 기반 재랭크와 달리, 목적·메커니즘·평가의 3‑facet 일치도를 점수화해 상위 논문을 선정한다. 이후 전문가가 라벨링한 in‑context 예시와 함께 LLM에게 ‘신규성 여부와 이유’를 출력하도록 프롬프트한다. 실험 결과, facet‑기반 재랭크를 적용했을 때 신규성 분류 정확도가 13.79 %에서 89.66 %로 급격히 상승했다. 또한, 시스템이 ‘신규하지 않음’이라고 판단한 경우 자동으로 하나의 facet를 교체하는 제안을 제공해 사용자가 반복적으로 아이디어를 개선할 수 있게 한다.
사용자 연구는 22명의 컴퓨터 과학 연구자를 대상으로 within‑subject 디자인으로 진행되었다. 두 조건(Scideator vs. 베이스라인 LLM) 모두 동일한 백본 모델을 사용했으며, 차이는 facet‑기반 모듈의 유무뿐이다. 결과는 Scideator가 아이디어 탐색(탐색 다양성, 새로운 개념 발견)과 표현력(아이디어를 구체적으로 서술)에서 통계적으로 유의미한 우위를 보였으며, 참가자들은 자유 텍스트 프롬프트보다 facet 선택을 선호했다. 특히, 자신이 선택한 facet가 포함된 아이디어가 가장 선호되는 비율이 높았으며, 이는 사용자가 시스템에 제공하는 구조화된 신호가 창의적 사고를 촉진한다는 증거가 된다.
전체적으로 시스템은 (1) 일관된 facet 표현을 통해 모듈 간 정보 흐름을 최적화, (2) 거리‑제어된 검색으로 창의적 ‘원거리’ 영감을 제공, (3) 정량적·정성적 신규성 평가와 자동 개선 제안을 결합해 인간‑AI 협업 루프를 완성한다는 점에서 의미가 크다. 다만, 현재는 목적·메커니즘·평가라는 3가지 facet에 국한되어 있어 복합적인 연구 영역(예: 데이터셋·알고리즘·응용)에서는 표현력이 제한될 수 있다. 또한 LLM에 의존하는 facet 추출·생성 단계는 모델의 최신성 및 프롬프트 설계에 민감하므로, 도메인‑특화 파인튜닝이나 다중‑모델 앙상블이 향후 개선 방향으로 제시된다.