선형 벡터 가우시안 채널에서 상호정보와 엔트로피의 헤시안 및 볼록성

본 논문은 선형 벡터 가우시안 채널 Y = G S + Z (또는 Y = X + C N) 에 대해, 입력 S 의 분포가 임의일 때 MMSE와 Fisher 정보 행렬의 야코비안을 닫힌 형태로 구하고, 이를 기반으로 상호정보 I(S;Y)와 차동 엔트로피 h(Y) 의 헤시안을 도출한다. 첫 번째 섹션에서는 문제 설정과 기존 연구를 정리한다. De Bruijn 정리와 Guo‑Shamai‑Verdú 정리 등은 1차 미분(gradient)과 MMSE·Fisher 정보 사이의 관계를 보여주지만, 2차 미분(헤시안)에 대한 일반적인 식은 없었다. 저자들은 이를 메우기 위해 조건부 MMSE 행렬 Φ_S(y)와 조건부 Fisher 정보 행렬 Γ_Y(y) 를 정의하고, 이들의 2차 모멘트가 헤시안에 기여한다는 점을 강조한다. 두 번째 섹션에서는 주요 수학적 도구를 소개한다. 복제 행렬 D_n, 전치·헐미션 연산자, Kronecker 곱 ⊗, Hadamard 곱 ◦ 등을 이용해 대칭 행렬의 벡터화와 미분을 체계화한다. 부록에서는 이러한 연산에 대한 상세 증명과 보조 정리를 제공한다. 핵심 결과는 두 개의 정리이다. 1) **Fisher 정보 행렬의 야코비안** (Theorem 1)에서는 노이즈 변환 C 에 대한 미분을 D_C J_Y = −2 D_n E{Γ_Y(Y)⊗Γ_Y(Y)} (C R_N ⊗ I_n) 형태로 제시한다. 여기서 Γ_Y(y) = −H_y log p_Y(y) = R_Z⁻¹ − R_Z⁻¹ Φ_X(y) R_Z⁻¹이며, Φ_X(y) = G Φ_S(y) Gᵀ이다. 이 식은 입력이 Gaussian이든 비Gaussian이든 동일하게 적용된다. 2) **MMSE 행렬의 야코비안** (Theorem 2)에서는 신호 변환 G 에 대한 미분을 D_G E_S = −2 D_m E{Φ_S(Y)⊗Φ_S(Y)} (Gᵀ R_Z⁻¹ ⊗ I_m) 형태로 도출한다. 이 결과는 기존에 알려진 ∇_G I(S;Y) = R_Z⁻¹ G E_S 관계와 일관성을 유지하면서, 2차 미분 정보를 제공한다. 이 두 정리를 이용해 저자들은 상호정보와 차동 엔트로피의 헤시안을 명시적으로 계산한다. 예를 들어, C 에 대한 헤시안은 H_C h(Y) = 2 D_n E{Γ_Y(Y)⊗Γ_Y(Y)} (C R_N ⊗ I_n) − 2 D_n E{Γ_Y(Y)} (C R_N ⊗ I_n) · … 와 같은 형태가 되며, 이는 CᵀC 또는 GᵀG 와 같은 양의 정의 행렬에 대해 음정성을 보인다. 따라서 C 또는 G 가 스칼라 양수 파라미터일 경우, h(Y)와 I(S;Y) 는 전역 볼록성을 가진다. 다변량 경우에도 CᵀC 또는 GᵀG 에 대한 볼록성을 확보함으로써, 뉴턴‑형 최적화에서 전역 최적해 보장이 가능함을 논한다. 다음으로, 헤시안 결과를 활용해 코스타의 엔트로피 파워 부등식(EPI)의 다변량 일반화를 증명한다. 기존 코스타 EPI는 N(Y) ≥ N(X) + N(Z) (여기서 N(·) 는 엔트로피 파워) 형태로 스칼라 Gaussian 노이즈와 독립 입력에 대해 성립했지만, 본 논문은 임의 입력과 다중 차원 Gaussian 노이즈에 대해 동일한 부등식을 보인다. 증명은 헤시안이 음정임을 이용해 로그 엔트로피 파워의 볼록성을 확보하는 방식으로 진행된다. 마지막으로, 복소수 확장, 수치 시뮬레이션, 그리고 다중 사용자 피드백 채널에 대한 적용 사례를 간략히 제시한다. 복소수 경우에도 실수 경우와 동일한 구조가 유지되며, 다중 사용자 시스템에서 외부 피드백을 이용한 용량 외곽을 도출하는 데 유용함을 보여준다. 결론적으로, 이 논문은 - MMSE와 Fisher 정보 행렬의 야코비안을 일반적인 선형 벡터 Gaussian 채널에 대해 닫힌 형태로 제공하고, - 이를 통해 상호정보·엔트로피의 헤시안을 구해 볼록성을 분석하며, - 다변량 코스타 EPI를 새롭게 증명함으로써 정보 이론의 기본 부등식들을 확장한다. 이러한 결과는 채널 설계, 최적화 알고리즘, 그리고 다중 사용자 네트워크 이론에 직접적인 영향을 미칠 것으로 기대된다.