BERT 모델 개발과 인용에 숨은 팀 규모·전문성·전략

초록

본 연구는 4,208편의 BERT 관련 논문을 분석해 최신 BERT 파생 모델이 더 큰 팀, 높은 기관 다양성, 그리고 좁은 주제 영역에서 개발되는 반면, 인용 수는 초기 BERT에 비해 감소한다는 ‘선점 효과’를 확인한다.

상세 분석

이 논문은 AI 기술 중 가장 영향력 있는 BERT 계열 모델을 과학사회학적 시각에서 조명한다. 데이터는 Papers with Code와 OpenAlex를 연계해 4,208편의 BERT 논문을 추출했으며, ‘BERT’라는 용어가 실제 모델을 가리키는지 판별하기 위해 BERT‑base‑uncased 모델을 미세조정한 분류기를 사용해 0.97의 정확도를 달성했다. 모델 세대는 인용 네트워크 기반 그래프 계층 알고리즘으로 정의했으며, 이는 단순 연도와는 별개로 지식 흐름상의 선후 관계를 반영한다. 종속 변수는 세 가지 집합으로 나뉘는데, 첫째는 연구 투입(저자 수, 평균 경력, 기관 수, 국제 협업 정도 등), 둘째는 개념 폭(OpenAlex 개념 수), 셋째는 단기·중기·장기 인용(1‑3년)이다. 통제 변수로는 발표 venue, 산업 소속 여부, 분야 고정효과, 연도 고정효과 등을 포함했다. 회귀 분석은 카운트형 변수에 음이항 회귀, 연속형 변수에 OLS를 적용했다. 결과는 가설 1‑3을 모두 지지한다. 최신 BERT 파생 모델은 저자 수와 기관 수가 평균 30 % 이상 증가했으며, 평균 경력 연령도 2‑3년 높았다. 개념 수는 초기 모델에 비해 15 % 감소해 전문화 경향을 보여준다. 인용 측면에서는 1‑3년 인용이 초기 모델 대비 20‑35 % 낮았으며, 특히 3년 인용에서 격차가 확대돼 ‘선점 효과’가 장기적으로 지속됨을 시사한다. 이러한 결과는 AI 연구가 점점 대규모 협업과 고도화된 인프라에 의존하면서도, 초기 혁신이 학술적 인정을 독점한다는 구조적 불균형을 드러낸다.