혁신의 눈 오픈노벨티
최근 몇 년 동안 학술 출판물이 급증하고 있다. 인공지능 분야만 보더라도 arXiv의 `cs.AI`와 `cs.LG` 카테고리에 매년 수만 편의 새로운 논문이 게재되고 있으며, NeurIPS, ICLR, ICML과 같은 상위 컨퍼런스로 제출되는 논문 수도 기록적인 수준을 보이고 있다. 이 출판 폭발 은 피어 리뷰 시스템에 전례 없는 압력을 가하고 있다. 리뷰어의 부담이 크게 증가했다. 한 명의 리뷰어는 한정된 시간 내에 여러 편의 논문을 평가해야 하는데, 각 리뷰에는 해당 분야의 최신 연구를 포괄적으로 이해하는 것이 요구된다. 하지만 현실은 달라서 많은 리뷰어들이 모든 제출 논문에 대한 철저하고 공정한 평가를 하지 못한다. 심지어 일부 리뷰어는 전체 텍스트를 신중하게 읽지 않고 피드백을 제공하기도 한다. 또한 학계에서는 AI 생성된 피드백을 적절히 검증하지 않고 사용하는 문제에 대해 점점 더 우려하고 있다. 평가 차원 중 하나인 **신규성**은 논문의 수용 여부를 결정하는 중요한 요소로 여겨진다. 그러나 신규성을 정확하게 평가하기는 어렵다. 이는 문헌 규모가 매우 크고, 세밀한 분석을 통해 주장을 검증하는 것이 어려우며, 리뷰어들의 판단에 주관성이 있기 때문이다. 대형 언어 모델(LLM)은 학술 논문 검토를 돕는 유망한 방향으로 부상하고 있지만, 기존 방법에는 한계가 있다 단순 LLM 기반 접근법은 매개변수적 지식에만 의존하면 존재하지 않는 참조를 생성할 수 있으며; 기존의 RAG 기반 방법은 제목과 초록만 비교하기 때문에 중요한 기술 세부 사항을 놓칠 수 있고; 대부분의 접근법은 문맥 창의 한계로 인해 관련 작업을 체계적으로 조직하지 못한다. 이러한 문제를 해결하기 위해 **<span class= smallcaps >OpenNovelty</span>**라는 LLM 기반 시스템을 제안한다. 이 시스템은 대규모 제출물에 대한 투명하고 검증 가능한 신규성 분석을 제공하도록 설계되었다. <span class= smallcaps >OpenNovelty</span>의 핵심 디자인 철학은 ** 신규성을 검증할 수 있게 하기 **이다 > *“우리는 LLM 내부의 매개변수적 지식에 의존하지 않고, 실제 논문을 찾아 신규성 주장 수준에서 전체 텍스트를 비교함으로써 모든 판단이 증거 기반임을 보장합니다.”* <span class= smallcaps >OpenNovelty</span>은 네 단계의 프레임워크를 통해 작동한다 - **Phase I 정보 추출** — 대상 논문에서 핵심 작업과 주장한 신규성 주장을 추출하고, 이후 검색을 위한 의미적 쿼리를 생성합니다. - **Phase II 논문 검색** — 추출된 쿼리 기반으로 <span class= smallcaps >Wispaper</span>을 사용하여 관련 이전 작업을 검색하고 다층 필터링을 통해 고질량 후보를 선택합니다. - **Phase III 분석 및 종합** — 추출한 주장과 검색된 논문을 기반으로 상위 구조의 관련 작업 세분화를 구성하고 전체 텍스트 비교를 수행하여 각 신규성 주장을 검증합니다. - **Phase IV 보고서 생성** — 모든 분석 결과를 명확한 인용 및 증거 조각과 함께 구조화된 신규성 보고서로 종합하며, 모든 판단이 검증 가능하고 추적 가능하도록 합니다. 각 단계의 기술적 세부 사항은 Section 2에서 제공됩니다. 또한 우리는 <span class= smallcaps >OpenNovelty</span>을 ICLR 2026에 제출된 500개 이상의 논문 분석에 배포했으며, 모든 신규성 보고서는 우리 웹사이트에서 공개적으로 이용 가능합니다. 예비 분석 결과 시스템이 관련 이전 작업, 특히 저자들이 놓칠 수 있는 유사한 논문을 식별할 수 있음을 나타냅니다. 우리는 이후 단계에서 이 분석을 2,000개 이상의 제출물로 확장할 계획입니다. 주요 기여는 다음과 같습니다 - 모든 평가를 추출된 실제 논문에 근거하며, 각 판단은 명확한 인용과 증거 조각으로 보완되어 단순 LLM 기반 접근법에서 발생하는 환영 문제를 효과적으로 피한다. - <span class= smallcaps >OpenNovelty</span>을 ICLR 2026에 제출된 논문 500개 이상에 배포하고, 모든 보고서를 우리 웹사이트에 공개하여 연구 커뮤니티에게 접근 가능한 투명한 신규성 분석을 제공한다.