딥러닝 기반 우르두어 시청각 립리딩 모델 개발

초록

본 연구는 우르두어 영상과 음성 데이터를 활용해 두 개의 딥러닝 모델을 구축한다. 영상 모델은 3D‑CNN‑BiGRU‑CTC 구조로 입술 움직임을 시퀀스 텍스트로 변환하고, 음성 모델은 MFCC‑LSTM 구조로 음향 신호를 텍스트로 변환한다. 두 모델을 결합해 잡음이 많은 환경에서도 인식 정확도를 향상시키는 것을 목표로 한다. 소규모 자체 구축 데이터셋을 사용해 학습·평가하였다.

상세 분석

이 논문은 언어‑시각 융합 기술을 우르두어라는 저자원 언어에 적용한 점에서 학술적·실용적 의의가 크다. 먼저 데이터 수집 단계에서 저자들은 영상(프레임당 224×224 해상도)과 동시 녹음된 오디오를 확보하고, 각 샘플에 대해 텍스트 라벨을 수동으로 부착하였다. 데이터셋 규모는 제한적이지만, 다양한 발음자와 조명 조건을 포함해 모델의 일반화 가능성을 검증하려는 시도가 돋보인다.

영상 모델은 3차원(시간‑공간) 컨볼루션 신경망을 통해 프레임 시퀀스의 로컬 움직임 특징을 추출하고, 이어서 양방향 게이트 순환 유닛(Bi‑GRU)으로 장기 의존성을 모델링한다. 최종 출력은 CTC(Connectionist Temporal Classification) 손실 함수를 이용해 정렬되지 않은 라벨 시퀀스와 매핑한다. 이 구조는 전통적인 CNN‑RNN‑CTC 파이프라인과 유사하지만, 3D‑CNN을 도입해 입술의 미세한 움직임을 더 효과적으로 포착한다는 점이 차별화된다.

음성 모델은 표준 MFCC(Mel‑Frequency Cepstral Coefficients) 전처리를 거친 후, 다층 LSTM을 쌓아 시간적 패턴을 학습한다. 여기서는 CTC 대신 소프트맥스 레이어와 교차 엔트로피 손실을 사용해 직접적인 문자 예측을 수행한다. 음성 모델은 잡음이 적은 클린 환경에서 높은 정확도를 보이지만, 잡음이 심한 상황에서는 성능이 급격히 저하되는 한계가 있다.

두 모델의 융합 전략은 비교적 단순하다. 영상 모델과 음성 모델 각각이 독립적으로 예측한 확률 분포를 가중 평균하거나, 후처리 단계에서 베이즈 규칙을 적용해 최종 라벨을 결정한다. 저자들은 특히 잡음이 20 dB 이하인 환경에서 시청각 융합이 순수 음성 모델 대비 8~12 %의 상대적 정확도 향상을 가져온다고 보고한다.

실험 결과는 정량적 지표(Word Error Rate, Character Error Rate)와 정성적 사례 분석을 모두 제공한다. 영상 모델만 사용할 경우 약 30 % 수준의 CER를 기록했으며, 음성 모델은 18 % 수준이다. 두 모델을 결합한 시청각 시스템은 12 % 이하로 오류율을 낮추었다. 그러나 데이터셋이 작고, 언어 특유의 복합 자음·모음 조합을 충분히 커버하지 못해 일부 발음에서는 여전히 높은 오류가 관찰된다.

한계점으로는(1) 데이터 양의 부족, (2) 잡음 유형(배경음악, 사람 목소리 등)의 다양성 미흡, (3) 모델 경량화와 실시간 추론에 대한 논의 부재를 들 수 있다. 향후 연구에서는 대규모 공개 우르두어 시청각 코퍼스를 구축하고, Transformer 기반 시퀀스‑투‑시퀀스 모델을 도입해 어휘 범위를 확대하는 것이 제안된다. 또한, 멀티모달 어텐션 메커니즘을 활용해 영상·음성 간의 상호 보완성을 더욱 정교하게 학습시키는 방안도 기대된다.