인간AI 협업으로 미래 과학 질문 발굴

초록

**
본 논문은 대규모 언어 모델(LLM)과 인간 전문가의 결합을 통해 2025년 주요 과학적 돌파와 2026년 미래 과학 질문을 도출하는 3단계 하이브리드 프레임워크를 제안한다. AI가 방대한 문헌을 분석·키워드 임베딩으로 “핫니스” 점수를 산출하고, 6개 LLM 앙상블이 후보를 생성·투표로 100개로 축소한다. 이후 인간‑AI 혼합 투표(100→30→10) 과정을 거쳐 최종 10개 리스트를 완성한다. 실험 결과, AI는 기존 돌파를 인간과 높은 일치도를 보였지만, 미래 질문 예측에서는 인간 판단이 여전히 핵심임을 확인했다.

**

상세 분석

**
본 연구는 “AI Scientist” 패러다임 하에서 LLM이 전략적 수준, 즉 ‘어떤 질문이 중요한가’를 스스로 정의할 수 있는지를 탐색한다는 점에서 학문적 의의가 크다. 방법론은 크게 세 단계로 구성된다. 첫 번째 단계인 AI‑Accelerated Information Gathering에서는 OpenAlex 데이터베이스에서 2015‑2025년 논문의 키워드 공동출현 그래프를 구축하고, node2vec을 이용해 연도별 임베딩을 학습한다. 이후 Gaussian 커널 기반의 “핫니스” 점수를 산출해 키워드의 인기와 의미적 밀도를 동시에 반영한다. 이때 동적 퍼센타일 기반 밴드폭과 거리 임계값을 적용해 연도마다 최적의 클러스터링을 수행한다. 이렇게 도출된 ‘돌파키워드’와 ‘질문키워드’는 각각 기존 영향력과 급격한 상승을 나타내는 두 그룹으로 구분된다.

두 번째 단계인 Candidate Question Proposing에서는 6개의 서로 다른 LLM(미국·중국 각각 3개)을 앙상블한다. 각 모델은 앞 단계에서 추출된 키워드와 고인용 논문, 그리고 “Deep Research”라 명명된 웹·미디어 보조 정보를 동시에 입력받아 100개의 후보를 생성한다. 6개 모델이 만든 600개 후보에 대해 교차 투표를 실시해 상위 100개를 선별한다. 이 과정은 모델별 편향을 상쇄하고, 지역·문화적 다양성을 확보하려는 의도가 돋보인다.

세 번째 단계인 Hybrid Question Selection은 인간‑AI 혼합 투표 메커니즘을 두 단계로 나눈다. 초기 스크리닝(100→30)에서는 대학원 수준 인간 30명과 AI 에이전트 70명이 동등 가중치(1:1)로 자유 투표한다. 이후 전문가 단계(30→10)에서는 인간 전문가 10명과 AI가 7:1 비율로 가중 투표한다. 이렇게 단계별 인간 참여 비중을 점진적으로 높임으로써, AI가 제공하는 폭넓은 후보 탐색 능력과 인간이 갖는 가치 판단·전략적 통찰을 균형 있게 결합한다.

실험에서는 5개 주요 분야(인공지능, 물리, 화학, 생물, 경제)를 대상으로 2025년 ‘Top 10 과학적 돌파’를 선정하고, 2026년 ‘Top 10 과학적 질문’을 예측했다. 결과는 AI가 기존에 널리 인정받는 돌파(예: 강화학습 시스템, 양자 컴퓨팅 진전)를 높은 정확도로 재현했지만, 미래 질문에서는 인간 전문가가 강조한 ‘인프라·평가 기준’ 등 메타 수준의 과제가 AI보다 더 많이 선정되는 차이를 보였다. 이는 AI가 현재 데이터에 기반한 패턴 인식에는 강하지만, 장기적 사회·정책적 맥락을 포괄하는 가치 판단에는 한계가 있음을 시사한다.

본 논문의 강점은 (1) 대규모 문헌 분석과 임베딩 기반 정량적 지표를 활용한 체계적 키워드 선정, (2) 다국적·다모델 앙상블을 통한 편향 최소화, (3) 단계적 인간‑AI 투표 설계로 인간 판단을 보완하는 하이브리드 워크플로우이다. 반면, 제한점으로는 (①) ‘핫니스’ 점수 계산에 사용된 파라미터(퍼센타일, 커널 폭)의 민감도 분석이 부족하고, (②) AI 에이전트의 시뮬레이션 방식이 실제 전문가와 동일한 판단을 재현하는지 검증이 필요하며, (③) 분야별 전문가 수가 제한적이어서 결과의 일반화 가능성이 떨어진다. 향후 연구에서는 파라미터 자동 최적화, 더 다양한 분야와 규모의 전문가 패널 도입, 그리고 AI가 장기적 전략적 질문을 스스로 학습하도록 메타‑리인포스먼트 학습을 결합하는 방안을 모색할 수 있다.

**