“2년 최대 임팩트 팩터(2M‑JIF): 분야별 인용 성숙도 차이를 넘어서는 새로운 저널 평가지표”

읽는 시간: 7 분
...

📝 원문 정보

  • Title: Impact maturity times and citation time windows: The 2-year maximum journal impact factor
  • ArXiv ID: 1304.5101
  • Date: 2013-04-19
  • Authors: - 원저자: (논문에 명시된 저자명 기재 필요) - 소속: (예: 대학·연구기관)

📝 초록 (Abstract)

학술 저널의 평가에 널리 사용되는 Thomson Reuters(현 Clarivate) 저널 임팩트 팩터(JIF)는 인용 기반 지표 중 가장 보편적이다. 전통적인 2‑년 저널 임팩트 팩터(2‑JIF)는 1~2년 된 논문에 대한 인용을, 5‑년 저널 임팩트 팩터(5‑JIF)는 1~5년 된 논문에 대한 인용을 각각 집계한다. 그러나 (i) 각 학문 분야마다 인용 성숙도(impact maturity time)가 다르고, (ii) 출판·인용 행태가 분야마다 체계적으로 차이 나기 때문에 이 지표들은 분야 간 비교에 한계가 있다. 5‑JIF는 2007년 JCR에 도입돼 인용 성숙도가 느린 분야의 비교 가능성을 높였지만, 모든 분야에 적용 가능한 ‘최적’ 성숙 기간은 존재하지 않는다. 일부 분야는 2년이면 충분하지만, 다른 분야는 3년 이상이 필요하다. 따라서 인용 성숙도가 빠른 분야와 느린 분야의 저널을 직접 비교하는 데 문제가 있다. 본 연구는 2‑년 롤링 인용 창 중 가장 높은 인용률을 선택하는 **2‑년 최대 저널 임팩트 팩터(2M‑JIF)**를 제안한다. 실증 분석에서는 8개 분야, 약 600여 저널을 무작위 표집해 2‑JIF, 5‑JIF, 2M‑JIF를 비교했으며, 2M‑JIF가 분야 내 변동성 대비 분야 간 변동성을 크게 감소시킴을 확인했다.

💡 논문 핵심 해설 (Deep Analysis)

### 1. 연구 배경 및 필요성 - **분야별 인용 성숙도 차이**: 자연과학·공학 분야는 인용이 빠르게 축적되는 반면, 인문·사회과학은 인용이 서서히 증가한다. 기존 2‑JIF와 5‑JIF는 고정된 시간 창을 사용해 이러한 차이를 반영하지 못한다. - **기존 5‑JIF의 한계**: 5‑JIF는 “긴 시간 창”을 제공하지만, 여전히 모든 분야에 동일하게 적용된다. 예를 들어, 5년 안에 인용이 급증하는 분야에서는 5‑JIF가 과대평가될 위험이 있다.

2. 제안된 지표: 2M‑JIF

  • 정의: 각 연도별로 2년 연속 인용 창(예: 2018‑2019, 2019‑2020 등)을 계산하고, 그 중 가장 높은 값을 선택한다.
  • 핵심 아이디어: “최대 인용 성숙도”를 포착함으로써, 해당 저널이 가장 높은 영향력을 발휘하는 2년 기간을 자동으로 찾아낸다. 이는 고정된 2‑JIF와 달리 분야별 최적 시점을 반영한다.

3. 방법론 평가

단계내용강점잠재적 약점
데이터 수집8개 분야, 600여 저널 (무작위 표본)다양한 분야 포함 → 일반화 가능성 ↑표본 크기가 제한적이며, 분야 선택이 편향될 수 있음
지표 계산2‑JIF, 5‑JIF, 2M‑JIF 모두 동일 데이터베이스 사용직접 비교 가능2M‑JIF는 연도별 변동성을 반영하므로, 연도별 데이터 품질에 민감
통계 분석그룹 간·내 변동성 비율(ANOVA 등)변동성 감소 효과 명확히 제시변동성 감소가 실제 평가·정책에 미치는 영향은 추가 연구 필요

4. 주요 결과 및 의미

  • 변동성 감소: 2M‑JIF는 분야 간 평균 차이를 유지하면서, 분야 내 변동성을 크게 낮춤. 이는 “공정한” 비교를 가능하게 함.
  • 실용성: 기존 JCR에 2M‑JIF를 추가하면, 연구자·기관·평가기관이 “가장 영향력 있는 2년”을 자동으로 파악할 수 있어, 평가 기준을 보다 정교하게 설정할 수 있다.

5. 강점

  1. 동적 시간 창: 고정된 2년·5년 대신, 실제 인용 피크를 반영한다.
  2. 간단한 구현: 기존 인용 데이터만으로 계산 가능, 추가 데이터 수집 필요 없음.
  3. 비교 가능성 향상: 분야 간 비교 시, 인용 성숙도 차이를 보정한다.

6. 한계 및 향후 연구 과제

  • 연도별 변동성: 2M‑JIF는 특정 연도에 높은 인용이 집중될 경우, 그 연도에 과도하게 의존할 위험이 있다. 장기적인 안정성을 검증하기 위해 다년간(예: 10년) 추적 연구가 필요하다.
  • 다중 피크 현상: 일부 저널은 여러 시점에 인용 피크를 보인다. 현재 2M‑JIF는 최고 피크 하나만 선택하므로, 복합적인 영향력을 놓칠 수 있다. “다중 최대값 평균” 같은 확장 방안이 고려될 수 있다.
  • 정책 적용: 학술 평가에서 2M‑JIF를 도입할 경우, 기존 JIF와의 호환성, 평가 기준의 변동성 등에 대한 이해관계자(연구자, 출판사, 기관)의 수용도가 필요하다.

7. 결론

본 논문은 저널 인용 성숙도 차이를 보정하기 위한 새로운 지표 2M‑JIF를 제안하고, 실증적으로 기존 2‑JIF·5‑JIF 대비 변동성 감소 효과를 입증하였다. 고정된 시간 창에 의존하는 전통적 임팩트 팩터의 한계를 극복하고, 분야 간 보다 공정한 비교를 가능하게 하는 점에서 학술 평가 체계에 중요한 기여를 한다. 다만, 연도별 변동성 및 다중 피크 현상에 대한 추가 검증이 필요하며, 실제 정책 적용을 위한 이해관계자 협의가 뒤따라야 한다.

📄 논문 본문 발췌 (Excerpt)

학술 저널을 과학 전반에 걸친 서지계량학적 관점에서 평가하기 위해서는 다양한 저널 지표가 활용됩니다. 이러한 지표들 중에서도 가장 널리 사용되는 것이 Thomson Reuters(현재 Clarivate Analytics)에서 제공하는 저널 임팩트 팩터(Journal Impact Factor, 이하 JIF)이며, 이는 인용을 기반으로 한 정량적 지표입니다. JIF는 기본적으로 두 가지 형태로 제공되는데, 첫 번째는 2년 저널 임팩트 팩터(2‑JIF)이고, 두 번째는 5년 저널 임팩트 팩터(5‑JIF)입니다. 2‑JIF는 해당 저널에 게재된 논문 중에서 발표된 지 1년 및 2년 된 논문들이 받은 인용 횟수를 합산하여, 그 논문 수로 나눈 평균값을 의미합니다. 반면에 5‑JIF는 발표된 지 1년부터 5년까지의 논문이 받은 인용 횟수를 모두 합산하고, 같은 기간 동안 게재된 논문 전체 수로 나누어 계산됩니다. 즉, 5‑JIF는 보다 긴 시간 창을 사용함으로써 장기적인 인용 영향을 포착하려는 목적을 가지고 있습니다.

그럼에도 불구하고, 이러한 JIF 기반 지표들은 서로 다른 학문 분야 간에 직접적인 비교가 어려운 두 가지 근본적인 이유가 존재합니다. 첫 번째 이유는 각 학문 분야마다 “임팩트 성숙 시간(impact maturity time)”이라고 부르는, 논문이 실제로 인용되기 시작하고 그 효과가 정점에 이르는 시점이 서로 다르다는 점입니다. 예를 들어, 물리학이나 화학과 같이 실험 결과가 빠르게 확산되는 분야에서는 논문이 발표된 후 1~2년 이내에 많은 인용을 받는 경우가 흔하지만, 인문학이나 사회과학과 같이 연구 결과가 서서히 확산되고 검증되는 분야에서는 같은 논문이 3년, 4년 혹은 그 이상이 지나야 비로소 충분한 인용을 획득하는 경우가 많습니다. 두 번째 이유는 바로 분야별로 논문 발표 및 인용 행태 자체에 체계적인 차이가 존재한다는 점입니다. 어떤 분야는 논문당 평균 인용 수가 매우 높고, 또 다른 분야는 인용 문화가 상대적으로 보수적이어서 같은 기간 동안 인용 횟수가 현저히 낮을 수 있습니다. 이러한 차이는 학술지의 규모, 연구 주제의 특성, 학술 커뮤니티의 크기, 그리고 출판 관행 등에 의해 복합적으로 영향을 받습니다.

실제로 5‑JIF는 2007년 Journal Citation Reports(JCR)에 처음 도입되었습니다. 그 도입 배경은 바로 “임팩트가 서서히 성숙하는 분야”에 속한 저널들 간의 비교 가능성을 높이기 위함이었습니다. 5년이라는 보다 긴 인용 창을 적용함으로써, 장기적인 인용 패턴을 반영하고, 단기 인용에 치우친 2‑JIF가 과소평가할 수 있는 저널들의 가치를 보다 공정하게 평가하려는 의도가 담겨 있었습니다. 그러나 모든 학문 분야에 대해 하나의 고정된 최적 임팩트 성숙 시간이 존재한다는 보장은 없습니다. 일부 분야에서는 2년이라는 짧은 기간만으로도 충분히 높은 인용 성과를 보여주어 2‑JIF가 실제 임팩트를 잘 반영하지만, 다른 분야에서는 3년, 4년 혹은 그 이상이 지나야 비로소 논문의 영향력이 충분히 발현됩니다. 따라서 “임팩트가 서서히 성숙하는 분야”의 저널과 “임팩트가 빠르게 성숙하는 분야”의 저널을 동일한 2‑JIF 혹은 5‑JIF 기준으로 비교하게 되면, 실제로는 인용 성숙 시간의 차이 때문에 부정확하고 불공정한 비교가 이루어질 위험이 있습니다.

이러한 문제점을 해결하고자 본 연구에서는 기존의 고정된 2년 인용 창을 그대로 사용하는 것이 아니라, 2년 최대 저널 임팩트 팩터(2‑M‑JIF, 2‑year Maximum Journal Impact Factor) 라는 새로운 지표를 제안합니다. 2‑M‑JIF는 “2년 이동 인용 창(2‑year rolling citation window)”을 적용하여, 각 저널에 대해 연속적인 2년 구간을 모두 조사한 뒤, 그 중에서 가장 높은 인용 평균값을 선택하는 방식으로 계산됩니다. 다시 말해, 특정 연도에 대한 2‑JIF가 아니라, 해당 저널이 지난 여러 연도 동안 보여준 2년 구간별 인용 성과 중 최고치를 지표값으로 채택함으로써, 각 분야별로 최적의 임팩트 성숙 시점을 자동으로 반영하도록 설계되었습니다. 이렇게 하면, 임팩트가 빠르게 성숙하는 분야에서는 짧은 구간에서 높은 값을 얻을 것이고, 임팩트가 서서히 성숙하는 분야에서는 보다 늦은 구간에서 최고치를 찾아낼 수 있게 됩니다. 결과적으로 2‑M‑JIF는 “임팩트 성숙 시간의 이질성”을 내부적으로 보정함으로써, 분야 간 비교 가능성을 크게 향상시킬 수 있다는 기대를 갖게 합니다.

마지막으로, 제안된 2‑M‑JIF의 실효성을 검증하기 위해 8개의 서로 다른 학문 분야에서 무작위로 선정한 약 600여 개의 학술지를 대상으로 실증 분석을 수행했습니다. 이 표본은 각 분야별로 약 75개의 저널을 포함하고 있으며, 각 저널에 대해 기존의 2‑JIF, 5‑JIF, 그리고 새롭게 계산한 2‑M‑JIF를 모두 산출했습니다. 분석 결과, 2‑M‑JIF를 사용했을 때 그룹 간 분산(among‑group variance)그룹 내 분산(within‑group variance) 에 비해 현저히 감소하는 현상이 관찰되었습니다. 구체적으로, 동일한 분야에 속한 저널들 간의 변동성은 크게 유지되면서도, 서로 다른 분야에 속한 저널들 간의 평균값 차이는 기존 2‑JIF나 5‑JIF에 비해 더 작아졌습니다. 이는 2‑M‑JIF가 분야별 특성을 보다 잘 반영하고, 인용 성숙 시간 차이로 인한 인위적인 편차를 최소화한다는 것을 의미합니다. 따라서 2‑M‑JIF는 기존의 정적인 2‑JIF·5‑JIF보다 그룹 간 변동성을 감소시켜, 보다 공정하고 신뢰할 수 있는 분야 간 비교 를 가능하게 하는 지표로서의 잠재력을 입증한 셈입니다.

요약하면, 학술 저널의 영향력을 평가할 때 사용되는 전통적인 2‑JIF와 5‑JIF는 각각 인용 성숙 시간과 분야별 인용 문화 차이 때문에 분야 간 직접 비교에 한계를 가지고 있습니다. 이러한 한계를 극복하기 위해 제안된 2‑M‑JIF는 2년 이동 인용 창을 활용하여 각 저널이 보여줄 수 있는 최대의 2년 평균 인용량을 지표로 채택함으로써, 임팩트 성숙 시간의 차이를 자동으로 보정합니다. 실증 분석을 통해 2‑M‑JIF가 그룹 간 분산을 효과적으로 감소시켜, 8개 분야에 걸친 600여 개 저널 표본에서 보다 일관된 비교 결과를 제공함을 확인했습니다. 따라서 2‑M‑JIF는 학술지 평가 및 연구 성과 비교에 있어 기존 지표를 보완하고, 분야 간 공정성을 제고하는 데 유용한 새로운 도구가 될 것으로 기대됩니다.

Reference

이 글은 ArXiv의 공개 자료를 바탕으로 AI가 자동 번역 및 요약한 내용입니다.

검색 시작

검색어를 입력하세요

↑↓
ESC
⌘K 단축키