다차원 주의 메커니즘을 활용한 강인한 입술읽기 네트워크

초록

본 논문은 시각적 특징을 채널·공간·시간 3차원에서 정제하는 MA‑LipNet을 제안한다. 채널 주의(CA)로 중요 채널을 강조하고, 공동 시공간 주의(JSTA)와 별도 시공간 주의(SSTA)로 각각 거친 필터링과 정밀 보정을 수행한다. 3D‑CNN 백본에 순차적으로 적용된 세 모듈은 CMLR와 GRID 데이터셋에서 CER 21.49 %·WER 1.09 %라는 최신 최고 성능을 달성한다.

상세 분석

MA‑LipNet은 입술읽기 과제에서 흔히 발생하는 ‘특징 중복·노이즈’ 문제를 다차원 주의 메커니즘으로 해결한다. 첫 단계인 채널 주의(CA) 모듈은 SE‑Net에서 영감을 받아 3D‑max‑pooling과 평균‑pooling으로 전역 시공간 정보를 압축한 뒤, 1×1×1 컨볼루션 기반 MLP를 통해 채널별 중요도를 학습한다. 이 과정에서 불필요한 채널을 억제하고, 입술 움직임에 민감한 채널만을 부각시켜 이후 연산의 효율을 높인다.

다음으로 적용되는 공동 시공간 주의(JSTA) 모듈은 채널 차원을 풀어낸 뒤, 전체 시공간 영역에 대한 단일 가중치 맵을 생성한다. max‑pooling·avg‑pooling을 각각 수행해 2채널 텐서를 만든 뒤 1×1×1 3D‑컨볼루션으로 융합, sigmoid 활성화로 정규화된 A_J를 얻는다. 이 맵은 영상 전체에 걸쳐 거친 필터링을 수행해 배경·비음성 프레임을 일괄적으로 억제한다.

가장 정교한 정제 단계인 별도 시공간 주의(SSTA) 모듈은 JSTA가 만든 특징을 다시 두 개의 병렬 브랜치로 분리한다. 공간 브랜치는 (B·T)×C×H×W 형태로 재구성해 2D‑CNN(3×3)으로 각 프레임별 공간 가중치를 학습하고, 시간 브랜치는 B×(C·H·W)×T 형태로 변형해 1D‑CNN(3)으로 프레임 간 중요도를 추정한다. N개의 서브브랜치를 통해 다양한 시공간 스케일을 포착하고, L2 정규화 후 합산해 최종 특징 Y_SSTA를 만든다. 이 설계는 입술 움직임이 미세하게 변하는 순간까지도 정확히 포착하도록 돕는다.

전체 파이프라인은 3D‑CNN(3‑layer) 백본 → CA → JSTA → SSTA → 2‑layer Bi‑GRU 인코더 → Additive Attention 기반 디코더(2‑layer Uni‑GRU) 로 구성된다. 인코더 출력은 시퀀스‑투‑시퀀스 방식으로 문자/단어를 예측하며, CTC 손실 대신 교차 엔트로피 기반 NLL을 최소화한다.

실험에서는 중국어 CMLR(102k 비디오)과 영어 GRID(33k 비디오) 두 데이터셋을 사용했다. 전처리는 Dlib 얼굴 랜드마크 기반 입술 영역(80×160) 추출 후 64×128으로 리사이즈하는 표준 파이프라인이다. 주요 하이퍼파라미터는 배치 사이즈 8/16, 학습률 2e‑4/3e‑4, SST​A 서브브랜치 N=3/4 등이다. 결과적으로 MA‑LipNet은 기존 최고 성능인 LipNet·LCANet·DualLip 등을 크게 앞서며, 특히 채널·시공간 차원의 복합 주의가 오류율을 30 % 이상 감소시켰다.

Ablation 연구는 각 모듈의 독립적 기여를 입증한다. CA만 적용해도 CER가 31.51 %→28.57 %로 개선되고, JSTA와 SSTA 각각도 비슷한 수준의 향상을 보인다. 특히 SSTA가 가장 큰 단일 효과(≈2 %p) 를 제공한다. 세 모듈을 모두 결합한 MA‑LipNet은 베이스라인 대비 10 %p 이상 절감된 CER/WER를 달성한다. Beam Search(K=6)를 추가하면 최종적으로 CMLR 21.49 %·GRID 1.09 %라는 최첨단 결과가 나온다.

시각화 결과는 주의 맵이 입술 영역에 집중되는 모습을 명확히 보여준다. Baseline은 넓게 퍼진 반면, JSTA는 거친 집중, SSTA는 세밀한 초점, 전체 모델은 배경·비음성 프레임을 거의 무시하고 입술 움직임에만 높은 가중치를 부여한다. 시간 주의 가중치 역시 비음성 구간을 낮게 할당해 불필요한 정보가 디코더에 전달되지 않도록 한다.

한계점으로는 현재 실험이 동일 화자(스피커‑인) 설정에 국한돼 있어 화자 간 변동성에 대한 일반화 검증이 부족하다. 또한 3D‑CNN 백본이 비교적 얕아 복잡한 입술 움직임을 충분히 포착하지 못할 가능성이 있다. 향후 연구에서는 화자‑독립 학습, 더 깊은 비디오 백본(예: I3D, SlowFast) 도입, 그리고 멀티모달(오디오‑비주얼) 융합을 통해 실시간·다언어 환경에서도 강인한 성능을 목표로 할 수 있다.