인간과 자동 매핑의 장단점: 농업 분야 AGROVOC 사례 분석

초록

본 논문은 농업 분야 표준어휘인 AGROVOC을 중심으로, 자동 매핑 시스템(OAEI 2007 “food task”에 참여한 5개 시스템)과 인간 전문가가 수행한 수동 매핑(GESIS‑IZ 프로젝트)의 성능과 한계를 비교한다. 자동 매핑은 단순 동의어 매핑에서 높은 정밀도와 적당한 재현율을 보였지만, 계층적 관계·배경 지식이 필요한 경우에는 크게 부족했다. 반면 인간 매핑은 복잡한 계층·연관 관계와 다국어 이슈를 정확히 처리했지만, 비용과 시간 면에서 비효율적이다. 두 접근법을 상황에 맞게 결합하는 것이 최적의 매핑 전략임을 제안한다.

상세 분석

이 연구는 세 가지 주요 KOS, 즉 AGROVOC, 미국 농업 도서관(NALT) 및 독일 도서관(SWD)을 대상으로 매핑 작업을 수행한다. 자동 매핑은 OAEI 2007 “food task”에 참가한 Falcon‑AO, RiMOM, X‑SOM, DSSim, SCARLET 다섯 시스템을 사용했으며, 각 시스템은 주로 어휘적 일치(lexical matching)와 일부 의미적 검색을 결합하였다. 정밀도는 Falcon‑AO가 0.84로 가장 높았지만 재현율은 0.49에 그쳤다. 이는 시스템이 대부분의 동등 관계(equivalence)를 찾아내지만, 넓은‑좁은 관계(broad/narrow)나 배경 지식이 필요한 매핑을 놓친다는 것을 의미한다. 특히 SCARLET은 계층적 매핑을 제공했지만, 너무 일반적인 상위 개념을 제시해 재현율이 0.00에 가까웠다.

수동 매핑은 GESIS‑IZ가 수행한 AGROVOC‑SWD 양방향 매핑으로, 1:1 동등, 1:n 계층·연관 관계를 포함한다. 매핑 과정에서 내부 용어 관계, 스코프 노트, 동의어 사전 등을 활용했으며, 전문가 검토와 실험적 IR 테스트를 통해 품질을 검증하였다. 결과적으로 인간 매핑은 복잡한 다국어 어휘(예: ‘Oryza sativa’와 중국어 ‘稻作’)와 세부 분야(생물·화학·지리 등)에서 높은 정확성을 유지했다. 그러나 매핑 규모가 수천 개에 달하면서 인력·시간 비용이 급증한다는 한계가 명확히 드러났다.

정성적 비교에서는 매핑 난이도를 ‘단순(동의어)’과 ‘복잡(계층·연관·다국어)’으로 구분하였다. 자동 시스템은 단순 매핑에서 70~80%의 성공률을 보였지만, 복잡 매핑에서는 10% 이하로 급락한다. 반면 인간 매핑은 전체 매핑 중 95% 이상을 정확히 수행했으며, 특히 계층적·연관 관계에서 자동 시스템이 놓친 미묘한 의미 차이를 포착한다.

이러한 결과를 토대로 저자들은 다음과 같은 실용적 권고안을 제시한다. ① 대규모 동의어 매핑은 자동 시스템을 우선 적용하고, ② 자동 매핑 결과를 인간 전문가가 검증·보완하는 하이브리드 워크플로우를 구축한다. ③ 계층·연관·다국어 매핑이 필요한 경우, 초기 단계부터 인간 전문가를 투입한다. ④ 자동 시스템의 성능을 향상시키기 위해 배경 지식 베이스와 온톨로지 간의 연계, 그리고 다국어 정렬 알고리즘을 강화한다. 이러한 전략은 매핑 비용을 절감하면서도 품질을 유지하는 최적의 방안을 제공한다.