인간 통역사처럼 읽고 쓰는 실시간 음성 번역

초록

SimulSense는 음성 입력을 연속적으로 청취하면서 의미 단위(센스 유닛)가 감지될 때마다 번역을 시작하도록 설계된 프레임워크이다. 경량의 Sense Units Detector(SUD)와 기존 오프라인 ST 모델을 결합해 LLM 기반 의사결정의 고비용을 제거하고, 9.6배 빠른 읽기·쓰기 결정과 우수한 품질‑지연 트레이드오프를 달성한다.

상세 분석

본 논문은 동시 음성 번역(Simultaneous Speech Translation, SimulST)에서 인간 통역사의 “읽기‑쓰기” 결정을 모방하기 위해 ‘센스 유닛’이라는 의미적 최소 단위에 초점을 맞춘다. 기존 연구는 두 가지 접근법을 주로 사용했는데, 하나는 데이터‑드리븐 정책을 학습하기 위해 다수의 전용 모델을 훈련하는 것이고, 다른 하나는 고정된 규칙 기반 정책을 적용하는 것이다. 최근에는 LLM을 활용해 멀티턴 대화 형태로 SimulST를 구현했지만, 이는 인터리브된 학습 데이터가 필요하고 LLM 추론 비용이 크게 증가한다는 한계가 있다.

SimulSense는 이러한 문제점을 해결하기 위해 세 가지 핵심 요소를 제안한다. 첫째, Continuous Integrate‑and‑Fire(CIF) 메커니즘을 변형한 Sense Units Detector(SUD) 모델을 도입한다. SUD는 오디오 인코더 출력과 지연 태그를 입력으로 받아 두 종류의 가중치(α, β)를 예측하고, 누적된 α 가중치가 사전 정의된 임계값 γ(학습 시 1.0)를 초과하면 센스 유닛 경계를 트리거한다. 이 과정은 오디오 스트림을 실시간으로 처리하면서도 복잡한 LLM 연산을 배제한다.

둘째, SUD 학습을 위해 Sense‑Aware Transducer(SA‑T) 파이프라인을 설계한다. 기존 CIF와 달리 SA‑T는 센스 유닛 데이터(LLM이 생성한 텍스트 분할)를 이용해 α‑가중치가 정확히 N‑1개의 경계를 만들도록 제약하고, β‑가중치는 각 유닛 내 토큰 수와 일치하도록 스케일링한다. 여기서 N은 해당 음성 샘플의 센스 유닛 개수이며, 양적 손실 L_Qua1, L_Qua2와 교차 엔트로피 손실을 결합해 학습한다.

셋째, 훈련된 SUD와 고성능 오프라인 ST 모델(Whisper‑large‑v3 기반 인코더와 Qwen‑3‑8B LLM)을 결합해 실제 SimulST 파이프라인을 구축한다. 추론 시 SUD가 센스 유닛을 감지하면 즉시 오프라인 ST 모델에 해당 음성 구간을 전달해 번역을 생성한다. 이 구조는 “읽기‑쓰기” 결정을 오디오 레벨에서 빠르게 수행하므로, 기존 LLM‑기반 시스템에 비해 평균 의사결정 시간은 38.6 ms(≈9.6배 빠름)이며 실시간 팩터(RTF)도 크게 감소한다.

실험은 IWSLT 2025 SimulST 트랙의 CoVoST‑2 훈련 데이터와 ACL 60/60 검증·평가 데이터를 사용했으며, 영어→독일어, 영어→일본어, 영어→중국어 세 언어쌍을 대상으로 평가했다. BLEU와 LAAL 지연 지표를 모두 고려한 결과, SimulSense는 모든 언어쌍에서 기존 NAIST‑2025와 Dialogue‑LLM보다 높은 BLEU 점수를 기록했으며, 특히 저지연 구간(≈3 s)에서 6.911.4 BLEU 향상을 보였다. 또한, 다양한 γ 값(0.55.0)으로 지연을 조절할 수 있어 실운용 환경에 유연하게 적용 가능하다.

한편, SA‑T 자체의 워드 오류율(WER)은 67.7%로 비교적 높았지만, 이는 SUD가 센스 유닛 경계 탐지에 집중하도록 설계된 결과이며, 최종 번역 품질에는 큰 영향을 미치지 않았다. 이는 “센스 단위 감지”와 “번역 생성”을 명확히 분리함으로써 각각의 모듈을 최적화할 수 있음을 시사한다.

요약하면, SimulSense는 인간 통역사의 인지 과정을 모델링한 센스‑드리븐 의사결정 메커니즘을 통해 LLM 의존성을 최소화하고, 실시간 효율성과 번역 품질을 동시에 개선한 혁신적인 SimulST 프레임워크라 할 수 있다.