Title: The Journal Impact Factor Should Not Be Discarded
ArXiv ID: 1612.04075
발행일: 2016-12-14
저자: Lutz Bornmann and Alexander I. Pudovkin
📝 초록 (Abstract)
이 논문은 저널 임팩트 팩터(JIF)의 사용에 대한 우려와 함께, JIF가 여전히 연구 평가에서 중요한 역할을 할 수 있음을 주장한다. JIF는 단일 논문보다는 저널 수준에서 사용되어야 하며, 과학 커뮤니티 내에서는 JIF의 실제 분석과 연구 평가에서의 적절성에 대한 관심이 높아지고 있다. 또한, JIF는 특정 상황에서는 저자와 독자가 특정 논문을 선택하고 인용하는 데 도움이 될 수 있으며, 단기적인 관심사에 초점을 맞추고 있으나 장기적인 출판 활동의 함의를 간과할 수도 있다. 이 논문은 JIF가 과학자와 기관의 평가에서 사용될 수 있지만, 개별 연구자의 성과 측정에는 적합하지 않음을 강조한다.
💡 논문 핵심 해설 (Deep Analysis)
이 논문은 저널 임팩트 팩터(Journal Impact Factor, JIF)에 대한 다양한 관점을 제시하며, 그 중요성과 한계를 동시에 탐구하고 있다. JIF는 과학 연구의 평가와 출판 활동에서 중요한 역할을 해왔지만, 최근에는 이 지표의 신뢰성과 적절성이 논란이 되고 있다.
1. JIF의 역사적 배경 및 목적
JIF는 원래 도서관 사서들이 가장 많이 사용되는 현대 저널을 구매하는 데 안내하기 위해 설계되었다. 이 지표는 저널에 게재된 논문의 평균 인용 횟수를 나타내며, 매년 저널 인용 보고서(Journal Citation Reports)에서 계산 및 출판된다. JIF는 2년 동안 게재된 논문의 인용을 기반으로 하므로, 단기적인 관심사에 초점을 맞추고 있다.
2. JIF의 한계와 문제점
JIF의 가장 큰 문제점 중 하나는 왜곡된 인용 분포이다. 일부 저널은 특정 논문이 매우 높은 인용 횟수를 기록함으로써 전체 JIF를 크게 끌어올릴 수 있다. 이로 인해 JIF가 모든 논문의 실제 영향력을 정확히 반영하지 못하는 경우가 많다. 또한, 분야별 저널 간에 인용률이 다르기 때문에, JIF는 특정 학문 분야 내에서만 비교 가능한 지표이다.
3. JIF의 적절한 사용 방법
논문은 JIF를 단일 논문의 영향력을 측정하는 데 사용되어서는 안 된다고 주장한다. 대신, JIF는 저널 수준에서 사용되어야 하며, 특정 상황에서는 저자와 독자가 특정 논문을 선택하고 인용하는 데 도움이 될 수 있다. 예를 들어, 고영향력 저널의 논문은 저영향력 학술지의 유사한 논문보다 더 많이 선택되고 인용될 가능성이 높다.
4. JIF 대체 지표
논문에서는 JIF 외에도 다양한 연구 평가 지표를 제시한다. 예를 들어, 분야 정규화된 지표는 개별 연구자, 연구 그룹, 기관의 성과를 평가하는 데 사용된다. Scimago 저널 랭크(SJR)와 같은 다른 지표도 JIF의 변형으로 제시되며, 이들은 특정 주제 카테고리 내에서 최고의 저널에 출판된 논문의 비율을 나타낸다.
5. JIF의 미래 전망
논문은 JIF가 과학 연구 평가에서 여전히 중요한 역할을 할 수 있지만, 그 사용 방법과 범위를 명확하게 정의해야 함을 강조한다. 특히, JIF는 단기적인 관심사에 초점을 맞추고 있으므로, 장기적인 출판 활동의 함의를 간과할 수도 있다. 따라서, JIF는 과학자와 기관의 평가에서 사용될 수 있지만, 개별 연구자의 성과 측정에는 적합하지 않다.
결론
이 논문은 JIF에 대한 다양한 관점을 제시하며, 그 중요성과 한계를 동시에 탐구하고 있다. JIF는 과학 연구의 평가와 출판 활동에서 중요한 역할을 해왔지만, 최근에는 이 지표의 신뢰성과 적절성이 논란이 되고 있다. 따라서, JIF의 사용 방법과 범위를 명확하게 정의하고, 다른 대체 지표와 함께 사용하는 것이 필요하다.
이 논문은 과학 연구 평가에서 JIF의 역할을 재평가하며, 그 한계와 적절한 사용 방법에 대해 깊이 있게 탐구한다. 이를 통해 과학 커뮤니티는 JIF를 포함한 다양한 지표를 더 효과적으로 활용하여 연구 성과를 평가하고, 과학의 발전을 촉진할 수 있을 것이다.
📄 논문 본문 발췌 (Excerpt)
**전문 한국어 번역:**
저널 오브 코리안 메디컬 사이언스(JKMS)에 게재 승인
저널 편집자와 과학 측정 전문가들은 저널 영향력 평가 도구로서 저널 임팩트 팩터(JIF, Clarivate Analytics, 전 톰슨 로이터 IP & 과학 사업부)의 신뢰성에 대해 점점 더 우려하고 있습니다. Larivière 외 연구진(1)의 논문이 bioarXiv 포털에 게재되고 네이처(2)에서 논평된 것은 과학 커뮤니케이션 모든 이해관계자들에게 JIF의 한계를 상기시켰습니다. 해당 저자들은 JIF 대신 저널 인용 분포를 표시할 것을 권장하며, 이러한 제안은 소셜 네트워크 플랫폼(3, 4)에서 활발히 논의되고 있습니다.
전반적인 인식은 JIF에 대한 논의가 끝이 없다는 것입니다. JIF와 h-인덱스는 과학 측정에서 가장 단순하고 많이 연구된 지표입니다(5, 6). 그러나 네이처(2)의 논평과 이후 인용 분포에 대한 논쟁은 과학 커뮤니티 내에서 JIF의 실제 분석과 연구 평가에서의 적절성과 오용에 대한 관심을 되살렸습니다.
끝없는 논의 끝에, 연구 평가자들은 JIF가 단일 논문보다는 저널 수준에서 사용되어서는 안 된다는 것을 인식해야 했을 것입니다. 그러나 여전히 일부 전문가들은 JIF의 단일 논문 수준 사용이 저널 수준 사용과 명확히 구분될 수 없다고 주장합니다(4). 특정 상황에서는 JIF가 저자와 독자가 특정 논문을 선택하고 읽고 인용하는 데 도움이 될 수 있습니다. 고영향 저널의 논문은 저영향 학술지의 유사한 논문보다 더 많이 선택되고 인용될 가능성이 높습니다.
JIF를 악마화해서는 안 됩니다. 신중하게 고려하면 학술 환경과 맥락에 따라 연구 평가 목적으로 여전히 활용할 수 있습니다. 엘스비어(Elsevier)는 스콜러스 데이터베이스 제공업체로, 최근 유사물인 CiteScore를 도입했습니다(https://journalmetrics.scopus.com/
참조). JIF는 저널에 게재된 논문의 평균 영향력을 1년 인용 창문으로 측정합니다. JIF는 매년 저널 인용 보고서(JCR, Clarivate Analytics)에 계산 및 출판됩니다. JIF 공식의 분모에 포함되는 논문은 인용 측정 연도 2년 전까지 게재된 것입니다. 반면, 새로운 CiteScore 지표는 3년(2년 대신) 동안의 논문을 고려합니다.
따라서 JIF(또한 CiteScore)는 단기적인 관심사(연구 최전방에서의 관심)를 다루며 장기적인 출판 활동의 함의(일명 ‘끈적이는 지식’)를 간과합니다(7). 분야별 커뮤니티의 단기적 주목은 JIF가 원래 도서관 사서들이 도서관에 가장 많이 사용되는 현대 저널을 구매하는 데 안내하기 위해 설계되었기 때문에 당연한 것입니다. 따라서 JIF는 장기적인 관점에서 저널의 논문 평균 영향력을 평가하는 데 사용될 수 없거나 사용되어서는 안 됩니다.
JIF 공식은 저널의 영향력을 나타내는 평균 숫자를 계산하도록 설계되었습니다. 따라서 2년 이내에 게재된 1개 또는 몇 개의 고인용 논문이 JIF를 높일 수 있습니다. 특히 네이처, 사이언스 및 기타 영향력 있는 저널의 경우가 그렇습니다(1). 왜곡된 인용 분포는 JIF 값이 대부분의 저널에서 게재된 논문의 실제 영향력을 반영하지 않는다는 것을 암시합니다. 단일 논문의 절대 인용 수는 그 논문의 영향력을 측정하는 올바른 지표입니다. 현재 웹 오브 사이언스(Web of Science)와 스콜러스는 단일 논문의 인용을 평가하기 위한 개요를 제공할 수 있습니다.
중요한 것은 JIF가 단일 논문의 인용 가능성을 예측하는 가장 좋은 지표라는 것입니다(8). JIF의 예측력을 확인하기 위해 저자 수와 페이지 수와 함께 JIF의 상관관계를 분석한 연구들이 있었습니다(9). 더 많은 인용을 기대할 수 있는 논문은 JIF 점수가 높을 가능성이 높습니다.
전문 한국어 번역:
저널 영향력 지수(JIF)는 단일 논문에서 출판된 논문의 양과 고영향 저널에 게재된 논문의 비율을 비교하여 계산됩니다. 또 다른 중요한 요소는 JIF에 기여하는 인용의 분야 의존성입니다. 다양한 학문 분야와 주제 카테고리 간에는 논문의 과학적 품질과 관계없이 인용률이 다르며, 분야별 저자 규칙, 출판 활동, 참조 패턴으로 인해 혼란이 발생합니다 (10). 이러한 차이를 고려하여 분야 정규화된 지표 개발이 이루어졌고, 이는 개별 연구자, 연구 그룹, 기관 평가에 사용됩니다 (11, 12). JIF는 분야 정규화되지 않은 지표이기 때문에 단일 주제 카테고리 내에서의 평가에만 사용할 수 있습니다.
Scimago 저널 랭크(SJR) 지표는 JIF의 변형으로, www.excellencemapping.net
(13, 14)에서 기관 우수도 매핑에 사용되었습니다. 전 세계 기관을 대상으로 이 사이트는 두 가지 지표의 결과를 매핑합니다. 첫 번째는 ‘최우수 논문 비율’로, 논문의 장기적 영향력을 크기에 관계없이 백분율로 측정하여 분야 정규화된 지표로 사용됩니다. 두 번째는 ‘최우수 저널 비율’로, 기관의 논문이 게재된 저널의 인용 영향에 기반합니다. 이 지표는 특정 주제 카테고리 내 최고의 저널의 25%에 속하는 저널에 출판된 논문의 비율을 나타냅니다. 저널 세트를 고려하여, *Journal of Korean Medical Science (JKMS)*에서 채택된 지표는 저널 수준의 분야 정규화된 메트릭입니다. 이 지표는 학술 기관이 고영향 저널에 논문을 게재하는 성공 정도를 보여줍니다 (13, 14). 따라서 www.excellencemapping.net
에서의 ‘성공’은 고영향 타겟 저널에 출판할 수 있는 능력 및 과학 커뮤니티의 장기적 관심받는 정도에 의해 측정됩니다.
JIF는 개별 연구자와 기관이 연구를 성공적으로 출판하는 능력을 측정하는 데 사용될 수 있습니다. 그러나 JIF는 단일 논문의 영향력을 측정하기 위한 대안으로 사용되어서는 안 됩니다. 이 점에서 더 적합한 지표를 고려해야 합니다 (예: Clarivate Analytics의 Essential Science Indicators [ESI]의 “필드 베이스라인” 테이블 데이터). 이러한 베이스라인은 특정 논문이 세계 평균 성과와 비교하여 훨씬 높은 또는 낮은 영향을 받았는지 평가하는 데 사용될 수 있습니다. 예를 들어, 2006년 화학 분야의 베이스라인은 약 23입니다 (2016년 11월 14일). 만약 2006년에 출판된 화학 논문이 평가 대상 기관에 의해 작성되어 50개의 인용을 받았다면, 이 논문의 영향력은 베이스라인보다 훨씬 높습니다. 반면, 10개의 인용을 받았다면, 영향력은 베이스라인보다 훨씬 낮습니다.
JIF를 개별 과학자의 평가에 사용하는 것은 오직 한 가지 상황에서만 정당화됩니다 (15). 그것은 최근 출판된 논문을 고려하는 경우로, 직원 생산성 모니터링, 학술 승진 또는 채용을 위한 내부 평가에 일반적으로 사용됩니다. 평가자는 최신 출판물에 특히 주의를 기울입니다. 그러나 이러한 항목에 대한 인용 창은 신뢰할 수 있게 인용 영향력을 측정하기에 너무 짧습니다 (16). 따라서 이 경우 저널 평판과 JIF를 조건부로 단일 논문의 영향력의 대안으로 사용할 수 있습니다 (9). InCites (Clarivate Analytics)는 이미 분야별 전문 지표로 백분율 변환된 JIF를 계산하여 최근 출판된 논문의 평가를 위한 도구를 제공했습니다 (17).
