적응형 연산 단계 기반 실시간 음성 인식

초록

본 논문은 인코더‑디코더 구조에 적응형 연산 단계(ACS) 알고리즘을 도입해, 입력 음성 프레임을 동적으로 선택하고 즉시 출력 토큰을 예측하도록 설계하였다. 인코더에서 프레임 간 상관관계를 이용해 정렬을 사전 생성함으로써 온라인 인식이 가능해졌으며, 디코더 단계에서는 양방향 컨텍스트를 활용하도록 약간의 구조 변화를 적용하였다. AIShell‑1 중국어 말뭉치 실험에서 온라인 상황에서 31.2% CER, 오프라인 상황에서 18.7% CER를 달성해 기존 어텐션 기반 모델(32.4% / 22.0%)보다 우수한 성능을 보였다.

상세 분석

이 연구는 기존의 어텐션 기반 인코더‑디코더 모델이 전체 입력 시퀀스를 한 번에 처리하고, 디코더가 어텐션 가중치를 통해 정렬 정보를 얻는 방식의 한계를 극복하고자 한다. 어텐션 메커니즘은 전역적인 컨텍스트를 필요로 하여 실시간 처리에 부적합하고, 계산 비용이 입력 길이에 비례해 증가한다는 문제가 있다. 저자들은 이러한 문제를 해결하기 위해 Adaptive Computation Steps(ACS)라는 새로운 알고리즘을 제안한다. ACS는 인코더 내부에서 프레임 간 상관관계를 측정하고, 누적된 상관값이 사전에 정의된 임계값을 초과하면 현재까지의 프레임을 하나의 “청크”로 확정한다. 이 청크는 즉시 디코더에 전달되어 토큰 예측이 이루어지며, 이후 추가 프레임이 들어오면 새로운 청크가 형성된다. 따라서 모델은 입력이 충분히 확보될 때마다 즉시 출력을 생성할 수 있어, 지연(latency)이 크게 감소한다.

인코더는 양방향 LSTM 혹은 Conformer와 같은 구조를 사용하면서도, 각 타임스텝에서 인접 프레임 간 코사인 유사도 혹은 학습된 상관 함수를 계산한다. 이 상관 값은 누적되어 임계값과 비교되며, 임계값은 학습 과정에서 데이터에 맞게 조정된다. 중요한 점은 ACS가 정렬 정보를 사전 생성한다는 점이다. 즉, 디코더는 어텐션 가중치를 계산할 필요 없이, 인코더가 제공한 청크 경계에 따라 바로 다음 토큰을 예측한다. 이는 디코더의 연산량을 크게 줄이고, 온라인 스트리밍 상황에서도 안정적인 정렬을 보장한다.

디코더 측면에서는 기존 인코더‑디코더 구조에 작은 변형을 가한다. 구체적으로, 현재 청크에 대한 예측을 수행할 때, 이전 청크와 현재 청크의 컨텍스트를 양방향으로 결합한다. 이는 “bidirectional context exploitation”이라 불리며, 청크 내부에서는 순방향 정보를, 청크 외부에서는 역방향 정보를 활용해 보다 풍부한 언어 모델링을 가능하게 한다. 이러한 설계는 청크 단위의 독립적인 예측에도 불구하고, 전체 시퀀스 수준에서의 일관성을 유지한다.

실험은 중국어 표준 음성 데이터셋인 AIShell‑1을 사용해 진행되었다. 온라인 실험에서는 입력 스트림을 실시간으로 받아 ACS가 청크를 형성하고, 디코더가 즉시 토큰을 출력하도록 구성하였다. 결과적으로 31.2% CER를 기록했으며, 이는 동일한 인코더‑디코더 구조에 어텐션을 적용한 베이스라인(32.4% CER)보다 1.2%p 개선된 수치이다. 오프라인 실험에서는 전체 입력을 미리 모두 제공하고, ACS가 최적의 청크 경계를 찾도록 허용하였다. 이 경우 18.7% CER를 달성했으며, 어텐션 기반 모델의 22.0% CER 대비 3.3%p의 절대적 향상을 보였다.

추가 분석에서는 ACS의 임계값 조절이 지연과 정확도 사이의 트레이드오프에 미치는 영향을 살펴보았다. 임계값을 낮추면 더 작은 청크가 자주 생성되어 지연이 감소하지만, 충분한 음향 정보를 확보하지 못해 오류율이 상승한다. 반대로 높은 임계값은 정확도를 높이지만 지연이 늘어나는 경향을 보였다. 따라서 실제 서비스 환경에서는 목표 지연에 맞춰 임계값을 동적으로 조정하는 전략이 필요하다.

전체적으로 이 논문은 인코더 단계에서 정렬을 미리 생성하고, 디코더는 최소한의 연산만 수행하도록 설계함으로써, 실시간 음성 인식 시스템에 적합한 경량화된 구조를 제시한다. ACS는 프레임 수에 따라 가변적인 연산량을 제공하므로, 하드웨어 자원이 제한된 모바일 디바이스나 엣지 컴퓨팅 환경에서도 효율적으로 적용될 가능성이 크다.