인도 농업 분야 자동 음성 인식 성능 벤치마크

초록

본 논문은 힌디어, 텔루구어, 오디아어 세 언어에 대해 농업 현장 음성 데이터를 활용한 ASR 성능을 체계적으로 평가한다. 새로운 도메인 가중치 기반 오류 지표(AWWER)와 LLM 기반 유틸리티 스코어링을 도입하고, 10,934개의 실제 현장 녹음에 10개 모델을 적용해 언어별·모델별 차이를 분석한다. 화자 다이어리제이션과 최우수 화자 선택이 다중 화자 녹음에서 WER를 최대 66%까지 감소시키는 효과를 보였으며, 힌디어가 16.2%의 최저 WER를 기록한 반면 오디아어는 35.1%가 최저점으로 가장 어려운 언어임을 확인했다. 농업 전문 용어 오류 패턴을 상세히 제시하고, 저자원 농업 도메인에서 ASR 개선을 위한 실용적 가이드를 제공한다.

상세 분석

본 연구는 인도 농업 서비스 디지털화에 필수적인 자동 음성 인식(ASR) 기술을 실제 현장 환경에 맞추어 평가한다는 점에서 의미가 크다. 먼저 데이터 수집 단계에서 2024년 6월부터 2025년 2월까지 Farmer.Chat 플랫폼을 통해 10,934개의 음성 파일을 확보했으며, 힌디어(4,626), 텔루구어(4,075), 오디아어(2,233)로 언어 비율을 조정했다. 녹음은 모바일 기기에서 농업 현장·농가 상담 상황에서 이루어졌기 때문에 배경 대화, 풍향 소음, 에코, 음성 겹침 등 다양한 잡음이 포함돼 있다. 표 I과 Fig.1에서 제시된 바와 같이 힌디어는 저잡음 비중이 81.3%로 가장 높고, 오디아어는 고잡음 비중이 13.6%로 가장 많다. 이러한 잡음 특성은 기존 실험실 기반 ASR 평가와는 달리 실제 서비스 배포 시 발생할 수 있는 오류 원인을 정확히 파악하게 해준다.

평가 지표 설계에서도 혁신적이다. 전통적인 WER, CER, MER에 더해 Agriculture Weighted Word Error Rate(AWWER)를 제안했는데, 이는 농업 도메인 핵심 용어에 가중치를 부여한다. 가중치는 4(핵심 작물·해충·농약), 3(토양·기후·시기), 2(수량·지역), 1(일반 어휘)으로 구분하고, 사전 구축은 현장 트랜스크립트와 농업 확장 자료를 기반으로 언어별로 맞춤형으로 진행했다. 또한 GPT‑4o를 활용한 LLM 기반 유틸리티 스코어링을 도입해 “전문가 수준(4)~전혀 사용 불가(1)”까지 4단계로 평가함으로써, 단순 오류율이 아니라 실제 의사결정에 미치는 영향을 정량화했다.

모델 평가에서는 10개의 상용·오픈소스 ASR을 사용했으며, 일부 모델은 화자 다이어리제이션 기능을 제공한다. 결과는 언어별·모델별로 크게 차이를 보인다. 힌디어에서는 Google STT가 16.2% WER와 24.5% AWWER로 최상위를 차지했으며, Vaani가 16.6% WER와 14.4% AWWER로 비슷한 수준을 보였다. 텔루구어는 Google STT가 33.2% WER, 28.7% AWWER로 우수했지만, MMS(Meta)는 67.5% WER로 성능 격차가 크다. 오디아어는 전반적으로 낮은 자원 특성 때문에 성능이 저조했으며, 다이어리제이션을 적용한 Azure Diarize(Best Speaker)가 35.1% WER와 29.8% AWWER로 가장 좋은 결과를 냈다. 특히, 다중 화자 비중이 높은 힌디어(56.6%)와 텔루구어(13.8%)에서는 다이어리제이션을 통해 WER가 각각 65%·33% 감소했으며, 이는 표 VII과 Fig.2에서 명확히 확인된다.

도메인 오류 분석에서는 12개의 농업 카테고리를 정의하고, 가장 빈번한 교체 쌍을 트리맵으로 시각화했다. 힌디어에서는 “dava→dabav”(비료/화학)와 “makka→makai”(작물) 같은 교체가, 텔루구어와 오디아어에서도 작물명·화학물질·해충 용어가 유사 발음 때문에 다른 일반 어휘로 대체되는 경향을 보였다. 이는 모델이 전문 용어에 대한 충분한 발음·문맥 정보를 학습하지 못했음을 의미한다.

전반적으로 논문은 다음과 같은 실용적 시사점을 제공한다. 첫째, 저자원 언어에서는 화자 다이어리제이션과 최우수 화자 선택이 필수적이며, 다중 화자 비중이 높은 데이터셋에서는 사전 처리만으로도 WER를 절반 이상 감소시킬 수 있다. 둘째, AWWER와 LLM 유틸리티 스코어링을 결합하면 단순 오류율이 낮아도 도메인 핵심 정보를 놓치는 경우를 식별할 수 있다. 셋째, 데이터 수집 단계에서 배경 대화와 풍향 소음 등 실제 현장 잡음을 최소화하거나, 잡음 억제 전처리와 다중 화자 분리를 동시에 적용하는 파이프라인이 필요하다. 넷째, 농업 용어 사전 구축과 지속적인 업데이트가 모델 성능 향상의 핵심 요소이며, 오픈소스 모델에 이러한 사전을 통합하면 전반적인 AWWER를 크게 낮출 수 있다. 마지막으로, 저자들은 HuggingFace에 10,864개의 오디오‑트랜스크립트 쌍을 공개함으로써 향후 연구와 실제 서비스 개발에 바로 활용 가능한 벤치마크를 제공한다.