기계가 만든 고생물 진화사

초록

PaleoDeepDive(PDD)라는 통계 기반 기계 독해 시스템을 개발·검증하여, 기존 인간이 구축한 고생물 데이터베이스(PBDB)와 비교했을 때 화석 발생 기록, 분류 의견, 그리고 계통발생 다양성 곡선 등에서 동등하거나 더 높은 정확도를 보였다. PDD는 텍스트·표·그림을 모두 처리하며 확률적 데이터베이스를 제공해 지속적인 품질 향상이 가능하다.

상세 분석

본 논문은 고생물학 분야에서 데이터 수집·통합의 병목을 해소하기 위해 DeepDive 프레임워크 위에 PaleoDeepDive(PDD)를 구축한 과정을 상세히 기술한다. PDD는 PDF·HTML 문서를 입력으로 받아 OCR, 레이아웃 인식, 자연어 처리(NLP) 단계를 거친 뒤, 규칙·학습 데이터 기반의 특징을 추출하고 베이지안 네트워크 형태의 집합적 확률 추론을 수행한다. 이때 모든 추출 사실은 확률값으로 표현되어, 인간이 수작업으로 입력한 ‘사실 리스트’와 달리 불확실성을 정량화한다. 시스템은 영문, 독일어, 중국어 문서를 처리할 수 있으며, 특히 표와 그림에서의 형상·크기 데이터까지 자동 추출한다는 점이 혁신적이다. 평가에서는 1,782개의 상위 50개 저널 논문을 대상으로 PBDB와 직접 비교했으며, 세 가지 평가 방법(내부 정밀도, 이중 맹검 실험, 매크로진화 패턴 재현)에서 모두 90% 이상 정확도를 기록했다. 특히 종·속 수준의 분류 의견을 인간이 입력한 79,913건 대비 192,365건을 추출했으며, 새롭게 발견된 59,996개의 종명 중 90% 이상이 유효함을 확인했다. 매크로진화 수준에서는 시간 구간별 속(genus) 다양성 및 교체율 곡선이 높은 상관관계를 보였으며, 차이는 주로 인간 데이터베이스의 주관적 연령 보정이나 OCR 오류 등에 기인한다. 또한 훈련 데이터 양을 단계적으로 감소시켜도 10% 수준의 훈련 데이터만으로도 충분히 높은 성능을 유지한다는 점을 입증했다. 이러한 결과는 확률적 기계 독해가 복잡한 과학 데이터베이스 구축에 인간 수준의 신뢰성을 제공함을 보여준다. 그러나 현재 PDD는 지질 단위가 명시되지 않은 최신 문헌이나 OCR 오류에 취약하며, 확률 임계값(0.95) 이하의 사실은 배제되는 한계가 있다. 향후 규칙·특징 확장을 통해 이러한 결함을 보완하고, 보다 다양한 분야에 적용할 수 있을 것으로 기대된다.