arXiv@25: 사용자 설문조사에서 드러난 5가지 핵심 인사이트 – “핵심에 충실할 때 성장한다”
📝 Abstract
As part of its 25th anniversary vision-setting process, the arXiv team at Cornell University Library conducted a user survey in April 2016 to seek input from the global user community about arXiv’s current services and future directions. We were heartened to receive 36,000 responses from 127 countries, representing arXiv’s diverse, global community. The prevailing message is that users are happy with the service as it currently stands, with 95 percent of survey respondents indicating they are very satisfied or satisfied with arXiv. Furthermore, 72 percent of respondents indicated that arXiv should continue to focus on its main purpose, which is to quickly make available scientific papers, and this will be enough to sustain the value of arXiv in the future. This theme was pervasively reflected in the open text comments; a significant number of respondents suggested remaining focused on the core mission and enabling arXiv’s partners and related service providers to continue to build new services and innovations on top of arXiv.
💡 Analysis
**
1. 연구 설계와 방법론 평가
| 항목 | 강점 | 한계 |
|---|---|---|
| 문헌 검토 + 자문 위원회 | 기존 연구와 arXiv 내부 전문가 의견을 결합해 설문 항목을 체계화함. | 문헌 검토 범위와 최신성(2010‑2015) 제한 가능성. |
| 설문 도구 (Qualtrics) | 온라인 배포·데이터 자동 수집으로 대규모 응답 확보. | 인터넷 접근성 차이에 따른 표본 편향 가능성. |
| 표본 규모 | 36,000명(완전 응답 28,233명) → 통계적 파워 충분. | 응답률(전체 사용자 대비) 미공개, 국가·분야별 대표성 검증 부족. |
| 정성 분석 | 10‑20 % 샘플 코딩 + Voyant word‑cloud 활용, 주제 추출 체계적. | 전체 텍스트 100 % 분석이 아니므로 희귀 의견 누락 위험. |
| 통계 처리 | 기술통계 중심, 차이점은 “실질적 퍼센트 차”에 초점. | 다변량 분석·인과관계 탐색 부재. |
2. 핵심 결과 해석
전반적 만족도 (95 %)
- arXiv가 “핵심 사명(빠른 공개)”을 충실히 수행하고 있다는 인식이 강함.
- 만족도가 높은 이유는 무료·오픈 접근, 신속한 배포, 학문 공동체 기반 검증 등 전통적 강점이 여전히 유효함을 시사.
핵심 사명 유지 요구 (72 %)
- “핵심에 집중”이라는 메시지는 기능 확장보다 안정성·신뢰성을 우선시하는 사용자 문화와 맞물림.
- 이는 과도한 기능 추가가 서비스 복잡성을 높이고 핵심 가치 희석될 위험을 경고한다.
검색 기능 개선 요구 (70 % 이상)
- 다중 언어·저자·날짜 제한 검색 등 정교한 필터링이 절실히 필요함.
- 현재 검색은 “알고리즘·메타데이터” 수준에 머물러 있어, 전문가·신진 연구자 모두가 효율적으로 탐색하기 어려움.
보조 자료·데이터 연계
- 연구 데이터·코드·슬라이드 연동에 대한 요구가 40 % 수준으로 나타났으며, GitHub 연동 등 외부 서비스와의 연결을 선호.
- 그러나 장기 보존·링크 붕괴에 대한 우려가 동시에 제기돼, arXiv 자체 호스팅 vs. 외부 링크 전략 선택이 필요.
새로운 서비스에 대한 기대
- 인용 자동 추출·BibTeX/ RIS 지원(>57 %) 및 참고문헌 직접 링크(>63 %) 등, 연구 흐름을 연결하는 메타서비스에 높은 관심.
- 이는 arXiv가 단순 저장소를 넘어 연구 인프라로 진화할 여지를 보여준다.
3. 정책·운영적 시사점
| 제안 | 기대 효과 | 구현 난이도 |
|---|---|---|
| 검색 엔진 재구축 (ElasticSearch 등) | 정교한 필터·다중 언어 지원 → 사용자 탐색 효율 30 %↑ | 중·고 |
| 보조 자료 메타데이터 표준화 (DataCite, Zenodo 연동) | 데이터·코드 재현성 강화 → 인용 증가 | 중 |
| 인용·참고문헌 자동 링크 (Crossref, OpenCitations) | 논문 간 연결성 강화 → 네트워크 분석 가능 | 저‑중 |
| 알림·RSS 개인화 (저자·주제 기반) | 사용자 맞춤형 정보 제공 → 재방문율 상승 | 저 |
| 오픈 API 제공 (검색·인용·통계) | 외부 서비스와의 생태계 확대 → 혁신 촉진 | 중 |
- 핵심 사명 유지와 기능 확장 사이의 균형이 가장 큰 과제다.
- 사용자 의견을 단계별 로드맵(단기: 검색·알림, 중기: 보조 자료 연동, 장기: 메타서비스)으로 구분해 구현하면, 핵심 가치 훼손 없이 서비스 품질을 향상시킬 수 있다.
4. 한계와 향후 연구 방향
표본 대표성 검증
- 국가·학문 분야별 응답 비율을 상세히 공개하고, 비응답 편향을 정량화할 필요가 있다.
심층 정성 분석
- 전체 텍스트 코딩을 확대하거나 **주제 모델링(LDA)**을 적용해 숨겨진 패턴을 탐색하면, 희귀하지만 혁신적인 요구를 포착할 수 있다.
장기 만족도 추적
- 2016년 설문 이후 서비스 개선 효과를 측정하기 위한 패널 조사를 설계해, 변화 추이를 longitudinal하게 분석한다.
비교 연구
- 다른 프리프린트 서버(예: bioRxiv, medRxiv)와 사용자 만족도·기능 요구를 비교해 arXiv만의 차별화 포인트를 명확히 할 수 있다.
5. 결론
- arXiv 사용자들은 **핵심 사명(빠른 공개)**에 대한 높은 만족과 동시에 검색·보조 자료 연계 같은 구체적 기능 개선을 강력히 요구한다.
- 서비스 확장은 핵심 가치와의 조화를 전제로 해야 하며, 검색 엔진 강화·메타데이터 표준화·오픈 API 제공이 실현 가능한 우선순위이다.
- 지속적인 사용자 피드백 루프와 데이터 기반 로드맵을 통해 arXiv는 25주년 이후에도 학술 커뮤니케이션의 핵심 인프라로 자리매김할 수 있다.
📄 Content
1
arXiv@25: 사용자 설문조사의 주요 결과
Oya Y. Rieger
코넬 대학교 도서관
이타카, 뉴욕
oyr1@cornell.edu
Gail Steinhart
코넬 대학교 도서관
이타카, 뉴욕
gss1@cornell.edu
Deborah Cooper
코넬 대학교 도서관
이타카, 뉴욕
dsc255@cornell.edu
초록
코넬 대학교 도서관의 arXiv 팀은 25주년 비전 설정 과정의 일환으로 2016년 4월에 전 세계 사용자 커뮤니티를 대상으로 설문조사를 실시했습니다. 이 설문조사는 arXiv의 현재 서비스와 향후 방향에 대한 의견을 수렴하기 위함이었습니다. 우리는 127개국에서 36,000여 건의 응답을 받아 arXiv가 전 세계에 걸쳐 다양하고 포괄적인 커뮤니티를 가지고 있음을 확인했습니다. 설문 응답자의 95%가 arXiv에 “매우 만족”하거나 “만족”한다고 답했으며, 72%는 arXiv가 과학 논문을 신속하게 제공하는 핵심 목적에 집중해야 한다고 강조했습니다. 이러한 메시지는 자유 서술형 의견에서도 일관되게 나타났으며, 다수의 응답자는 핵심 사명에 충실하고 arXiv 파트너 및 관련 서비스 제공자가 arXiv 위에 새로운 서비스와 혁신을 구축하도록 지원할 것을 제안했습니다.
1. 서론 및 배경
arXiv는 과학자와 그들이 속한 과학 문화에 의해 정보가 제공되고 안내되는 중재형 학술 커뮤니케이션 포럼입니다. 1991년 물리학자 Paul Ginsparg이 로스앨러미스 국립연구소에서 이론 고에너지 물리학 연구자들이 출판 전 연구 결과를 공유하기 위해 시작했으며, 현재는 다양한 분야에 걸쳐 핵심적인 역할을 수행하고 있습니다. arXiv는 학술 커뮤니케이션 전반을 혁신할 수 있는 모델로 평가받고 있습니다(Ginsparg 2011). 2001년 Ginsparg이 코넬으로 옮겨가면서 코넬 대학교 도서관이 관리 책임을 인수했으며, 현재는 서비스 이용자와 직접적인 이익을 얻는 연구 커뮤니티·기관이 공동으로 거버넌스와 지원을 담당하고 있어 투명하고 지속 가능한 자원으로 운영되고 있습니다(Rieger 2011). arXiv가 성장함에 따라 지속 가능한 비즈니스 모델도 구축되었으며(Rieger & Warner 2010), 현재 재정 지원은 Simons Foundation, 코넬 대학교 도서관, 전 세계 190여 개 회원 도서관으로부터 이루어지고 있습니다.
25주년 비전 설정 과정의 일환이자 인프라 현대화의 필요성을 인식한 가운데, 코넬 대학교 도서관(arXiv 팀)은 2016년 4월에 전 세계 사용자 커뮤니티를 대상으로 설문조사를 진행했습니다. 본 논문은 그 설문 결과와 향후 가능한 단계들을 보고합니다.
2. 방법
2.1 설문 준비
arXiv 사용자 설문을 준비하기 위해 팀은 먼저 문헌 검토를 수행하고, 과학·회원 자문 위원회(SAB·MAB) 구성원들을 대상으로 별도 설문을 진행했습니다. 문헌 검토는 설문 설계의 기초가 되었으며, 기존 연구들이 제기한 여러 질문과 공통 주제를 파악하는 데 도움이 되었습니다. 주요 논문들은 디지털 저장소와 자체 보관·제출에 대한 인식(Kim 2010; Nicholas et al., 2012), 오픈 액세스 환경에서의 출판 특성·저자 비용·인용(Fowler 2011) 등을 다루었습니다. 자주 언급된 주제로는 arXiv에 논문을 제출하는 이유(Nicholas et al., 2012), “연구 결과의 조기 전파” 가치(Fowler 2011), 학술 평판, 장기 보존, 분야 표준 관행 준수, 프리프린트만 인용할 의향(Fry et al., 2015), 오픈 액세스 출판 여부, 출판 논문의 권리 보유 등에 관한 논의가 있었습니다.
특히 저장소 내 특정 기능의 효율성을 평가한 논문들은 설문 설계에 직접적인 영감을 주었습니다. 검색 방법(논문 ID, 주제 기반, 저자 검색, 전체 텍스트 검색), 제출 절차의 용이성, 인용 기능 등이 주요 논의 대상이었습니다. 또한 사용자가 기대하는 개선점으로는 모바일 접근성, 개인화, 협업 도구 등이 제시되었습니다(Gentil‑Beccot et al., 2009).
2.2 자문 위원회 설문
MAB와 SAB 설문은 품질 관리·신속 전파, 주제 영역 확대, 신규 서비스 개발 및 기존 서비스 개선, arXiv의 미래 네 가지 영역에 초점을 맞추었습니다. 이 설문 결과를 바탕으로 사용자 설문의 초안을 작성했으며, 두 위원회와 arXiv 직원이 최종 설문을 검토·보완했습니다. 배포 전에는 과학자와 학생을 대표하는 사용자 그룹을 대상으로 파일럿 테스트를 진행했습니다.
2.3 설문 배포
코넬 대학교 도서관(CUL) 직원은 Qualtrics 웹 기반 설문 도구를 이용해 **예비 설문(위원회 대상)**과 **본 설문(전 세계 사용자 대상)**을 모두 준비·배포했습니다. 본 설문은 2016년 4월 6일부터 26일까지 3주간 진행되었으며, arXiv.org 배너, 여러 메일링 리스트, 소셜 미디어를 통해 홍보되었습니다. CUL은 자체 제품·서비스에 대한 연구를 수행할 수 있는 Cornell Institutional Review Board(IRB) 면제 권한을 보유하고 있어, 본 연구는 인간 대상 연구가 아닌 서비스 평가로 분류되었습니다.
2.4 설문 구성
- 다지선다형 질문: 17문항
- 자유 서술형 질문: 8문항
다지선다형 응답은 기술통계(빈도, 비율) 중심으로 분석했으며, 인구통계학적 변수(연령, 사용 연수, 지역 등)와 사용 연수에 따른 차이를 검토했습니다. 표본 규모가 크기 때문에 모든 차이에서 통계적으로 유의한 결과가 도출되었으며, 여기서는 실질적인 비율 차이에 초점을 맞추었습니다.
자유 서술형 응답은 질문당 8533,374건이 수집되었으며, 각 질문마다 담당 분석가가 지정되었습니다. 분석가는 무작위로 추출한 1020% 샘플을 읽고 코드북을 작성한 뒤, 전체 응답 중 최소 20%를 상세히 코딩하고 감성(긍정/부정)을 기록했습니다. 이후 남은 응답을 스키밍하여 샘플에 없던 주제와 트렌드를 파악했습니다. 일부 분석가는 Voyant Tools(http://voyant-tools.org/
)를 활용해 워드 클라우드를 생성, 텍스트 빈도를 시각화했습니다. 최종적으로 각 질문별로 반복되는 테마를 빈도순으로 정리하고, 요약 보고서를 작성했습니다.
3. 결과 및 논의
3.1 응답 개요
전 세계 127개국에서 36,000건(완전 응답 28,233건)의 설문이 접수되었습니다(전체 결과와 인구통계는 부록 2). 각 자유 서술형 질문에 대한 응답 비율은 **2.4%~9.4%**에 달했으며, 비율은 작지만 제공된 의견의 양과 일관성은 매우 높았습니다.
핵심 메시지
- 서비스 만족도: 전체 응답자의 95%가 “매우 만족” 또는 “만족”이라고 답함.
- 핵심 사명 유지: 72%가 arXiv가 “과학 논문을 신속히 제공하는” 본래 목적에 집중해야 한다고 강조했으며, 이는 향후 arXiv 가치 유지에 충분하다고 판단함.
이러한 의견은 자유 서술형 코멘트에서도 일관되게 나타났으며, 다수는 **핵심 사명(신속 전파·보존·오픈 액세스·커뮤니티 중재)**에 충실하고, 파트너와 서비스 제공자가 arXiv 위에 새로운 서비스와 혁신을 구축하도록 지원할 것을 제안했습니다.
아래에서는 설문 주제별(현재 서비스, 신규 서비스, 논문 검색, 품질·전파, 주제 영역 확대, arXiv의 미래) 주요 결과를 요약합니다.
3.2 현재 arXiv 서비스 개선
3.2.1 검색 기능
“검색 기능을 개선해 보다 정교한 결과를 제공하는 것”은 70% 이상의 응답자가 “매우 중요/중요”하다고 평가했습니다. 연령·사용 연수·출판 논문 수·국가·주제 영역에 관계없이 일관된 의견이었습니다. 주요 요구 사항은 저자 검색, 기간 제한 검색, 비영어권 언어 검색 등이었습니다.
3.2.2 제출 과정 지원
다음 세 가지 항목에 대해 약 **40%**가 “매우 중요/중요”라고 답했습니다.
- 연구 데이터·코드·슬라이드 등 부속 자료 제출 지원
- 연구 데이터·코드·슬라이드와 논문 간 연계 지원
- TeX 엔진 업데이트 및 기타 개선
특히 검색 기능 개선에 비해 상대적으로 낮은 비중을 차지했지만, 부속 자료와 연계된 기능에 대한 관심은 여전히 높았습니다.
3.2.3 자유 서술형 의견 요약
- 부속 자료 호스팅: arXiv 자체 호스팅 vs. 외부 서비스(특히 GitHub) 연계에 대한 의견이 갈렸으며, 장기 가용성·링크 붕괴(link rot) 우려가 제기되었습니다.
- 데이터·그림 포함: 논문에 사용된 그림 데이터를 arXiv에 포함시키자는 의견이 있었습니다.
- 출판 버전 링크: 출판된 최종 버전에 대한 정보와 링크를 일관되게 제공해 달라는 요구.
- 알림 기능: 이메일·RSS 알림을 보다 정교하게 설정하고, 특정 저자·주제에 대한 맞춤형 알림을 원한다는 의견.
- TeX 템플릿·스타일 파일 제공: 제출 과정을 간소화하기 위한 템플릿 제공 요청.
- 인용·연결: 인용 목록에 직접 링크를 삽입하고, 인용 간 상호 연결성을 강화하라는 제안.
- PDF·파일 크기 제한 확대: PDF 제출 허용, 파일 크기 상향, 다중 파일 동시 업로드 기능 요구.
- Overleaf·Authorea 연동: 저작 플랫폼에서 직접 제출할 수 있는 기능 요청.
- 통계 제공: 논문 다운로드·조회 수와 같은 사용 통계 제공 요구.
3.2.4 신규·오래된 사용자 차이
신규 사용자(5년 이하)들은 “의견 없음(no opinion)” 선택 비율이 상대적으로 높았습니다. 예를
이 글은 AI가 자동 번역 및 요약한 내용입니다.