주제별 검색어 학술지 저자명 추천의 연구자 활용도

초록

본 연구는 사회과학 연구자 19명을 대상으로 자동 생성된 검색어, 학술지명, 저자명 추천 서비스가 실제 연구 주제와 얼마나 연관성이 있는지를 평가하였다. 평균 정밀도는 저자명 0.75, 검색어 0.74, 학술지명 0.73으로 높은 편이며, 연구자 유형에 따라 선호도가 차이를 보였다.

상세 분석

이 논문은 ‘Bibliometric‑Enhanced Information Retrieval’이라는 새로운 패러다임 하에 세 가지 추천 시스템, 즉 Search Term Recommender (STR), Journal Name Recommender (JNR), Author Name Recommender (ANR)를 설계하고, 실제 사회과학 연구자들을 대상으로 그 실효성을 검증하였다. 연구 설계는 질적 인터뷰와 정량적 평가를 결합한 혼합 방법론으로, 먼저 19명의 연구자(실무자, 박사과정 학생, 포스트닥)에게 자신이 진행 중인 연구 주제를 인터뷰를 통해 정의하게 하였다. 이후 각 주제에 대해 사전 처리된 상위 n개의 검색어, 학술지명, 저자명을 자동으로 추출하고, 연구자들에게 해당 추천 리스트의 토픽 적합성을 0‑1 척도로 평가하도록 요청하였다.

평가 지표로는 전통적인 정밀도(Precision)를 사용했으며, 특히 Top‑1, Top‑3, Top‑5 등 순위별 정밀도를 별도로 보고하였다. 결과는 전반적으로 높은 정밀도를 보였는데, 저자명 추천이 평균 0.75, 검색어가 0.74, 학술지명이 0.73으로 거의 동등한 수준이었다. 흥미로운 점은 연구자 유형별 선호 차이이다. 실무자(Practitioner)는 저자명 추천을 가장 유용하게 평가했으며, 이는 실무 현장에서 특정 전문가의 연구 흐름을 빠르게 파악하고자 하는 필요와 연결된다. 반면 포스트닥은 저자명 추천에 가장 낮은 점수를 주었고, 대신 학술지명 추천을 선호하였다. 이는 포스트닥이 자신의 연구를 특정 학술지에 맞추어 출판 전략을 세우는 과정에서 학술지 특성을 중시하기 때문으로 해석될 수 있다.

또한 주제별 정밀도 분포가 고르게 나타나지 않았으며, 일부 주제에서는 모든 추천 유형이 높은 정밀도를 기록했지만, 다른 주제에서는 특정 유형만이 유의미한 성과를 보였다. 이는 주제의 학문적 성숙도, 해당 분야의 문헌 규모, 그리고 기존 메타데이터의 풍부함 등에 따라 추천 알고리즘의 성능이 달라질 수 있음을 시사한다.

방법론적 한계로는 표본 크기가 작고, 특히 포스트닥 그룹이 3명에 불과해 통계적 일반화에 제약이 있다. 또한 ‘Top‑n’ 추천 리스트가 사전 처리 단계에서 어떤 필터링 기준을 적용했는지 상세히 기술되지 않아 재현 가능성에 의문이 남는다. 그럼에도 불구하고, 이 연구는 정량적 정밀도 외에도 연구자 유형과 연구 단계에 따른 맞춤형 추천 서비스 설계의 필요성을 강조한다. 향후 연구에서는 더 큰 규모의 다학제 표본, 다양한 평가 지표(예: 재현율, MAP), 그리고 사용자 인터페이스 실험을 통해 실제 디지털 도서관 환경에서의 적용 가능성을 검증할 필요가 있다.