AI arXiv 프리프린트 생태계의 기관 참여와 협업 구조 변화

초록

본 연구는 2021‑2025년 사이 cs.AI 분야 arXiv 프리프린트를 대상으로, 대규모 메타데이터 수집·정제와 LLM 기반 기관 분류 파이프라인을 구축해 발표량, 저자 팀 규모, 학계‑산업 협업 패턴을 정량화한다. ChatGPT 출시 이후 논문 수가 급증했지만, 학계‑산업 협업 지표(NCI)는 무작위 혼합 기준보다 현저히 낮아 기관 간 격차가 지속되고 있음을 밝혀낸다.

상세 분석

이 논문은 AI 연구의 급격한 변화를 실시간으로 포착하기 위해 arXiv cs.AI 카테고리의 2021‑2025년 전 기간을 대상으로 1억 여개의 메타데이터를 수집하고, OpenAlex와 arXiv HTML을 활용해 저자‑소속 정보를 구조화하였다. 핵심은 두 단계로 이루어진 기관 라벨링 파이프라인이다. 첫 단계에서는 규칙 기반 전처리로 명확히 구분되는 대학·연구소·기업명을 추출하고, 두 번째 단계에서는 OpenRouter API를 통해 GPT‑4o‑mini 등 최신 LLM에 정형화된 JSON 프롬프트를 전달해 ‘학계’, ‘산업’, ‘혼합’, ‘미확인’ 네 가지 라벨을 부여한다. 프롬프트 설계 과정에서 6가지 변형을 시험해 출력 형식 일관성, 오분류 방지, hallucination 억제 등을 최적화했으며, 결과 검증을 위해 샘플링된 5 % 데이터를 인간 전문가가 교차 검증하였다.

정량 분석에서는 연도별 논문 수, 평균 저자 수, 기관별 기여 비율을 시계열로 시각화했으며, 특히 2022년 말 ChatGPT 공개 직후 논문 제출량이 전년 대비 45 % 상승하는 급증을 확인했다. 학계 기관은 전체 논문의 68 %를 차지했지만, 산업 기관의 비중은 12 %에서 2025년에는 19 %로 점진적으로 증가했다. 저자 팀 규모는 전반적으로 확대되어 평균 4.3명에서 2025년에는 6.1명으로 성장했으며, 이는 복합적인 협업 필요성을 반영한다.

협업 강도를 평가하기 위해 제안된 Normalized Collaboration Index(NCI)는 실제 학계‑산업 공동 저자 비율을 무작위 혼합 모델이 예측한 비율로 나눈 값이다. 모든 하위 분야(머신러닝, 자연어처리, 로보틱스 등)에서 NCI는 0.62~0.71 사이로, 기대값보다 30 % 이상 낮았다. 이는 산업 자본이 집중된 대형 모델 개발이 학계 연구자들의 진입 장벽을 높이고, 실질적인 공동 연구가 제한되고 있음을 시사한다.

한계점으로는 기관 라벨링에 사용된 LLM이 최신 정보를 완벽히 반영하지 못할 가능성, OpenAlex 데이터의 누락·오류, 그리고 프리프린트만을 대상으로 하여 정식 저널 논문과의 차이를 고려하지 못한 점을 들 수 있다. 향후 연구에서는 학술지 데이터와 특허 데이터를 통합해 장기적인 기술 이전 흐름을 추적하고, 협업 네트워크의 구조적 변화를 그래프 이론적 방법으로 심층 분석할 필요가 있다.