베르누이 가우시안 신호의 레이트 왜곡 함수 개선 연구

초록

본 논문은 베르누이 확률 p와 표준 정규분포 N(0,1) 를 곱한 i.i.d. 베르누이‑가우시안 시퀀스의 레이트‑왜곡 함수 R(D) 를 분석한다. 기존 상한과 하한 사이의 차이를 좁히기 위해 새로운 하한 기법을 제시했으며, 특히 왜곡 D 가 작을 때 기존 하한에 p·log₂(1/p) 만큼을 추가한다. 이는 p→0 (희소 신호) 일 때 상한 H(p) 와 하한의 차이가 거의 사라짐을 의미한다.

상세 분석

이 논문은 베르누이‑가우시안(Ξ(p,σ²)) 라는 혼합 확률변수를 정의하고, σ²=1 로 정규화한 뒤 레이트‑왜곡 함수 R(D,p) 를 연구한다. 기존 문헌에서는 R(D,p) 에 대해 두 가지 간단한 상한과 하한을 제시했는데, 상한은 (i) 비영 위치 정보를 손실 없이 전송하고 비영 값에 대해 가우시안 코덱을 적용한 H(p)+p·R(Dp,N(0,1)) 형태, (ii) 전체 신호를 가우시안으로 가정한 R(D,N(0,p)) 형태이며, 하한은 비영 위치를 자유롭게 알려주는 가정 하에 p·R(Dp,N(0,1)) 로 제한되었다. 이러한 하한은 Shannon 하한이 적용되지 않아 충분히 타이트하지 못했다.

저자는 하한을 강화하기 위해 “채널 코딩과 손실 소스 코딩의 강한 이중성”을 활용한다. 구체적으로 인코더 출력 aⁿ_R 를 두 부분 정보 I(aⁿ_R; bⁿ)와 I(aⁿ_R; sⁿ|bⁿ) 로 분해하고, 각각을 별도 하한으로 평가한다.

1. I(aⁿ_R; sⁿ|bⁿ) 에 대해서는 기존 하한과 동일하게 p·R(D,N(0,p)) 를 얻으며, 이는 비영 위치가 알려졌을 때 남는 가우시안 부분에 대한 전통적인 가우시안 레이트‑왜곡 함수이다.
2. I(aⁿ_R; bⁿ) 은 베르누이 시퀀스 bⁿ 자체를 전송해야 하는 최소 정보량을 의미한다. 이를 평가하기 위해 인코더-디코더 시스템을 “손실 코딩 채널”로 해석하고, 해당 채널의 용량을 하한으로 만든다. 채널 용량은 랜덤 코딩과 전형 집합(typical set) 분석을 통해 구해지며, 최종적으로
   \