CTC‑DRO 언어 격차 감소를 위한 강건 최적화

초록

CTC‑DRO는 멀티링궐 자동 음성 인식에서 그룹 DRO가 겪는 CTC 손실의 길이·언어·음향 차이 문제를 해결한다. 길이‑매칭 배치를 사용해 CTC 손실의 스케일링을 완화하고, 그룹 가중치 업데이트에 스무딩 파라미터 α를 도입해 특정 고손실 그룹에 과도하게 집중되는 현상을 방지한다. ML‑SUPERB 2.0의 5개 언어 집합 실험에서 최악 언어 오류를 최대 47.1 % 감소, 평균 오류를 최대 32.9 % 개선하였다.

상세 분석

본 논문은 멀티링궐 ASR에서 그룹 DRO가 기대하는 “동등한 손실 규모” 전제가 깨지는 상황을 정확히 진단한다. CTC 손실은 입력 시퀀스 길이 D와 출력 길이 U에 비례해 증가하는 특성이 있어, 언어마다 음성 길이 분포가 크게 다르면 손실값 자체가 비교 불가능해진다. 저자들은 이를 “스케일링 편향”이라 명명하고, 기존 그룹 DRO가 높은 손실을 보이는 그룹에 과도하게 가중치를 부여해 다른 그룹을 소외시키는 현상을 실증한다(그룹 g′가 지속적으로 높은 L_g을 가짐).

해결책으로 제안된 CTC‑DRO는 두 가지 핵심 메커니즘을 결합한다. 첫째, 배치 샘플링 단계에서 동일 그룹 내 음성 길이 총합이 사전 정의된 목표 d와 거의 일치하도록 샘플을 선택한다. 이는 각 그룹의 손실을 “길이‑정규화된 합계” 형태로 계산하게 하여, 길이 차이에 의한 스케일링 효과를 상쇄한다. 둘째, 그룹 가중치 q_g 업데이트에 스무딩 파라미터 α를 도입한 로그‑가중치 형태의 목표 함수를 사용한다. 수식 q_g ← q_g·exp(η_q·L_g/(q_g+α)) / Σ_{g’} q_{g’}·exp(η_q·L_{g’}/(q_{g’}+α))는 기존 Hedge 기반 업데이트를 일반화한 것으로, α가 0에 가까울수록 현재 가중치에 민감해 과도한 편향을 억제하고, α가 클수록 손실에 더 비중을 둔다. 이 설계는 손실이 높은 그룹이 무조건 우선시되지 않도록 하면서도, 손실 차이가 실질적인 성능 격차를 반영할 때는 가중치를 적절히 상승시킨다.

이론적 분석에서는 로그‑가중치 목표가 최적화 조건에서 q_g+α ∝ L_g·P_g’L_{g’} 형태가 됨을 증명해, 가중치가 손실에 비례함을 보장한다. 또한, α를 통한 스무딩이 q_g의 급격한 변동을 방지해 학습 안정성을 높이고, 그룹별 손실 평균이 수렴하도록 돕는다.

실험에서는 XLS‑R과 MMS 두 대형 사전학습 모델을 ML‑SUPERB 2.0의 5개 언어 셋(언어마다 데이터 양과 평균 길이가 상이)에서 미세조정하였다. 비교 대상은 (1) 기본 CTC 미세조정, (2) 기존 그룹 DRO 적용 모델이다. 결과는 CTC‑DRO가 최악 언어의 WER을 평균 47.1 % 감소시켰으며, 전체 평균 WER도 최대 32.9 % 개선함을 보여준다. 특히, 길이가 긴 언어(예: 스페인어)에서 기존 그룹 DRO가 과도하게 가중치를 할당해 성능이 저하되는 반면, CTC‑DRO는 길이‑매칭 배치와 스무딩 덕분에 균형 잡힌 학습을 달성한다.

계산 비용 측면에서도 CTC‑DRO는 각 그룹당 스칼라 q_g만 유지하면 되므로 기존 그룹 DRO와 동일한 수준이며, 추가적인 길이‑매칭 배치 샘플링만으로 구현이 가능하다. 따라서 실무 적용 시 큰 오버헤드 없이 멀티링궐 ASR 시스템의 공정성을 향상시킬 수 있다.

마지막으로 저자들은 의료·법률 등 손실 규모가 그룹마다 크게 다른 도메인에도 CTC‑DRO의 아이디어를 확장할 가능성을 제시한다.