비선형 재귀 분리 시스템의 상호정보 최소화 접근법에서 간접 의존성의 영향

초록

본 논문은 Duarte와 Jutten이 제안한 비선형 혼합 모델에 대한 상호정보(MI) 최소화 기반 블라인드 소스 분리(BSS) 방법에서, 파라미터에 대한 기울기 계산 시 간접 의존성을 누락한 오류를 지적한다. 저자는 이를 보완한 정확한 기울기 식을 제시하고, 수정된 식을 이용한 적응 알고리즘 설계와 기존 연구와의 차이점을 논의한다.

상세 분석

Duarte와 Jutten(2014)은 비선형 재귀 분리 구조에 대해 출력 신호들의 상호정보를 최소화함으로써 BSS 문제를 해결하고자 했다. 이 접근법은 파라미터 θ에 대한 MI의 미분, 즉 ∂I/∂θ를 구해 경사 하강법에 적용하는 것이 핵심이다. 그러나 비선형 시스템에서는 출력 y가 파라미터뿐만 아니라 내부 상태와 다른 출력에 의해 간접적으로도 영향을 받는다. 기존 논문은 이러한 간접 의존성을 무시하고, y에 대한 직접 미분만을 고려해 ∂I/∂θ를 전개하였다. 결과적으로 Jacobian 행렬에 누락된 항이 발생하고, 최적화 과정에서 편향된 업데이트가 이루어진다.

본 논문은 먼저 비선형 혼합 모델 x = f(s)와 분리 모델 y = g(x;θ)의 수학적 정의를 재정리한다. 여기서 g는 재귀적 비선형 함수를 포함하며, y_i = g_i(y_{i-1},…,x;θ) 형태를 가진다. MI는 H(y) – ΣH(y_i|y_{-i}) 로 표현되며, 각 엔트로피 항을 θ에 대해 미분할 때 체인 룰을 적용하면 ∂y/∂θ 뿐만 아니라 ∂y/∂y_prev·∂y_prev/∂θ 와 같은 고차 항이 나타난다. 저자는 이를 명시적으로 전개하여 전체 기울기 식을 도출하고, 누락된 항이 실제 실험에서 수렴 속도와 최종 SIR에 미치는 영향을 시뮬레이션으로 확인한다. 또한, 이전에 저자들이 발표한 arXiv 문서