양자화 수신 신호를 이용한 선형 벡터 채널 최적 검출 성능 분석

초록

본 논문은 대규모 CDMA·MIMO와 같은 선형 벡터 채널에서 A/D 양자화된 수신 신호를 이용한 최적 검출기의 성능을 replica 방법으로 이론적으로 분석한다. 무잡음 채널에서는 양자화 단계가 일정 조건을 만족하면 완전 검출이 가능함을 보이고, 잡음이 존재하는 경우 양자화 단계가 커질수록 검출 오류 확률이 단조 감소한다는 결론을 제시한다.

상세 분석

본 연구는 입력 차원 K와 출력 차원 N이 무한대로 발산하면서 비율 β=K/N을 고정하는 대규모 시스템 한계에서, i.i.d. 정규분포를 갖는 채널 행렬 H와 AWGN(분산 σ₀²) 환경을 가정한다. 수신 신호 y=Hx₀+σ₀ν는 양자화 단계 d에 따라 정수 n으로 매핑되며, 각 양자화 구간의 확률 밀도는 Q‑함수를 이용한 식(3)으로 표현된다. 최적 검출기는 실제 채널 모델과 입력 사전분포 P₀(x)=2⁻ᴷ를 정확히 알고, 양자화 확률 ρ₀(n|·)를 이용해 사후 확률 P(x|n,H)∝P(n|Hx)P(x)를 계산한다.

분석 도구로는 통계역학의 replica 방법을 채택한다. 대규모 한계에서 평균 오류 확률 P_b는 Q(√E) 형태로 나타나며, 여기서 E는 자기 일관성 방정식(7)·(8)으로 정의된 두 변수 m과 E의 해에 의해 결정된다. 식(7)은 tanh 형태의 고정점 방정식이며, 식(8)은 양자화된 출력 분포 ρ₀와 그 도함수 ρ₀’을 포함한다. 파라미터 (σ₀, d, β)에 따라 세 개의 해(좋음, 중간, 나쁨)가 존재할 수 있으며, free energy F(식10)를 최소화하는 해가 실제 최적 검출기의 성능을 나타낸다.

무잡음 경우(σ₀=0)에는 m=1, E→∞ 해가 존재해 P_b=0이 된다. 이는 양자화 단계 d가 β에 비해 충분히 작을 때, 양자화 잡음이 검출에 영향을 주지 않음을 의미한다. 그림 1·2에서 보듯, d/√β가 특정 임계값 이하이면 완전 검출 영역이 형성되고, 그 위에서는 다중 해가 공존한다.

반면 σ₀>0인 잡음이 있는 경우, 양자화 단계가 커질수록 E가 감소하고 결국 P_b가 증가한다. 이는 양자화 잡음이 기존 AWGN에 더해져 신호‑대‑잡음 비(SNR)를 악화시키기 때문이다. 그림 3은 β=1.0, 1.8에 대해 Eb/N₀와 P_b의 관계를 보여주며, d/√β가 0, 0.25, 0.5인 경우 각각 다른 성능 곡선을 나타낸다. 또한, 특정 Eb/N₀ 이하에서는 나쁜 해가 자유 에너지 최소화 해가 되어 실제 알고리즘(예: belief propagation)에서도 성능 저하가 관찰될 수 있음을 시사한다.

결과적으로, 양자화 설계 시 d를 충분히 작게 유지하면 무잡음 환경에서 완전 검출이 가능하고, 잡음이 존재할 경우에도 d를 작게 할수록 성능 손실을 최소화할 수 있다. 이론적 분석은 실제 A/D 변환기 설계와 디지털 수신기 구현에 직접적인 가이드라인을 제공한다.