분포 불일치에 맞서는 최적 손실 복원 생성형 디코딩

초록

본 논문은 설계 시 가정한 소스 분포와 실제 소스 분포가 다를 때, 고정된 인코더를 그대로 두고 디코더만으로 최적의 복원을 수행하는 방법을 제시한다. 베이지안 MMSE 추정에 기반한 ‘생성형 디코딩’은 기존의 센트로이드 복원보다 항상 낮은 왜곡을 보이며, 잡음 채널 및 태스크‑지향 손실에도 확장된다. 가우시안 및 라플라스 사례, 그리고 딥러닝 기반 의미 분류 실험을 통해 제안 방법이 설계‑최적화 기준에 근접함을 입증한다.

상세 분석

논문은 먼저 손실 압축 시스템에서 인코더가 사전 정의된 분포 (P^{(d)}_X) 에 맞춰 양자화 테이블을 고정하고, 실제 소스가 다른 분포 (P^{(t)}_X) 를 따를 때 발생하는 성능 저하 문제를 ‘분포 불일치(mismatch)’라고 정의한다. 기존 문헌에서는 이러한 불일치를 정보 이론적 한계(예: Lapidoth의 mismatch capacity)로만 분석했으며, 실제 고차원 데이터에 적용 가능한 복원 규칙은 제시되지 않았다.

핵심 아이디어는 디코더가 (P^{(t)}_X) 에 대한 사전 정보를 가지고 있다는 전제 하에, 양자화 인덱스 (I=Q_d(X)) 가 주어졌을 때 조건부 기대값 (\mathbb{E}_t