UAV 지원 긴급 네트워크를 위한 음성 기반 의미 인식

초록

본 논문은 재난 현장에서 무인항공기(UAV) 기반 통신망을 운영할 때, 구조대의 무선 음성 교신을 자동으로 구조화하여 네트워크 관리에 활용할 수 있는 SIREN 프레임워크를 제안한다. 음성 → 텍스트(ASR) → 대형 언어 모델(LLM) 기반 의미 추출 → NER·스피커 다이어리제이션·감성 분석 등 deterministic NLP 검증 과정을 거쳐 위치, 유닛, 긴급도, QoS 요구사항 등을 JSON 형태로 출력한다. 합성 데이터 5가지 시나리오(언어·화자·잡음·복잡도 다양)에서 전사 정확도와 의미 추출 정확도가 높은 반면, 화자 구분 오류와 지리적 모호성이 주요 한계로 지적된다.

상세 분석

SIREN은 음성 기반 긴급 통신을 UAV‑assisted 네트워크 관리에 직접 연결할 수 있도록 설계된 다단계 파이프라인이다. 첫 단계인 Automatic Speech Recognition(ASR)에서는 오프라인 Whisper와 클라우드 기반 Assembly API를 병행 사용해 환경에 따라 경량·고정밀 모델을 선택한다. 특히 Assembly API는 스피커 다이어리제이션과 감성 점수를 제공함으로써 후속 단계에서 화자‑유닛 매핑과 긴급도 보정에 활용된다. 두 번째 단계인 Information Extraction에서는 LLaMA 3.2를 Ollama 프레임워크 위에 배치하고, 사전 정의된 JSON 스키마를 프롬프트에 삽입해 “위치”, “유닛”, “긴급 수준”, “QoS 요구” 등 정형화된 필드를 강제한다. LLM의 확률적 출력은 Hallucination을 방지하기 위해 세 가지 deterministic NLP 모듈로 검증된다. ① SpaCy 기반 Named Entity Recognition(NER)으로 추출된 지명과 실제 지리 엔티티를 교차 확인한다. ② Assembly API의 스피커 다이어리제이션 결과와 LLM이 만든 유닛 리스트를 비교해 화자 수 불일치를 탐지하고, 필요 시 LLM 출력을 재조정한다. ③ 감성 분석 점수를 이용해 LLM이 판단한 긴급 수준을 상향·하향 조정한다(예: 부정적 감성 → ‘Critical’). 검증이 끝난 후에는 Geopy를 통해 지명을 좌표로 변환하고, Folium 기반 웹 인터페이스에 시각화한다.

실험은 실제 재난 음성 데이터가 부족한 점을 보완하기 위해 LLM‑생성 대화문을 ElevenLabs TTS로 합성한 맞춤형 데이터셋을 구축하였다. 시나리오는 복잡도에 따라 Low(시나리오 1), Medium(시나리오 2·3), High(시나리오 4·5)로 구분되며, 영어·포르투갈어, 화자 수 4~6명, 배경 잡음 유무 등 다양한 변수를 포함한다. 전사 품질은 Word Error Rate(WER)로 측정했으며, Clean 환경에서 Whisper 기반 오프라인 모델은 7.2 % WER, 클라우드 API는 4.5 % WER을 기록했다. 의미 추출 정확도는 Location Recall ≈ 92 %, Unit F1 ≈ 0.88, EmergencyLevel Accuracy ≈ 0.91 수준으로, 특히 잡음이 심한 경우에도 80 % 이상의 성능을 유지했다. 그러나 화자 다이어리제이션 오류가 15 % 정도 발생해 유닛‑화자 매핑에 혼란을 주었으며, 포르투갈어 시나리오에서는 지명 중복(예: “São Pedro”)으로 인한 좌표 매핑 오류가 눈에 띄었다.

시스템 구현 측면에서 SIREN은 모듈식 설계 덕분에 현장 요구에 맞춰 경량 로컬 모델(Whisper‑tiny)과 고성능 클라우드 서비스(Assembly, OpenAI) 사이를 자유롭게 전환할 수 있다. 또한 JSON 스키마 기반 출력은 기존 UAV 배치 알고리즘이나 SDN‑style 네트워크 오케스트레이션 엔진에 바로 입력 가능하도록 설계돼, 인간‑인‑루프(HITL) 의사결정과 자동화된 자원 할당 사이의 간극을 메운다.

핵심 기여는 (1) 음성 → 구조화된 의미 정보 변환 파이프라인을 최초로 UAV‑assisted 네트워크 관리에 적용한 점, (2) LLM 출력 검증을 위한 다중 deterministic NLP 레이어를 도입해 신뢰성을 크게 향상시킨 점이다. 한계로는 화자 구분 정확도와 지리적 모호성 해결을 위한 추가 센서(예: GPS‑tagged 마이크) 혹은 사전 정의된 지명 사전 강화가 필요하다는 점이다. 향후 연구에서는 실시간 스트리밍 처리, 다중 모달(음성 + 영상) 융합, 그리고 실제 재난 현장 파일럿 테스트를 통해 시스템의 현장 적응성을 검증할 계획이다.