상대 엔트로피 코딩과 확률적 코드 설계의 최신 동향

초록

이 논문은 전통적인 양자화·엔트로피 코딩을 대체할 수 있는 ‘상대 엔트로피 코딩’(REC)이라는 프레임워크를 소개한다. REC는 공유된 무작위 시퀀스(또는 연속적인 시계열)를 ‘그릴’로 활용해 원본 데이터를 확률적으로 재구성하는 방식이며, 이를 통해 임의의 조건부 분포를 자유롭게 선택할 수 있다. 논문은 REC의 이론적 기반, 주요 구현 기법(특히 거절 샘플링 기반 채널 시뮬레이션), 그리고 압축‑품질‑프라이버시 트레이드오프와 같은 실용적 응용 사례를 정리한다.

상세 분석

논문은 먼저 ‘역카르단 그릴(Reverse Cardan)’이라는 고전적인 스테가노그래피 개념을 추상화하여, 공유된 무작위 텍스트(또는 시계열)를 ‘공통 랜덤니스’로 보고, 그 위에 구멍을 뚫어 숨긴 메시지를 복원하는 과정을 상대 엔트로피 코딩의 메타포로 삼는다. 이때 구멍 사이의 거리(정수열)를 이진 코드로 표현하면, 원본 심볼이 메모리리스 소스에서 생성될 경우 평균 코드 길이는 소스 엔트로피와 일치한다는 사실을 제시한다. 이는 전통적인 엔트로피 코딩이 ‘재구성 정확도’를 보장하는 반면, REC는 ‘조건부 분포’를 직접 설계함으로써 양자화 오류를 자유롭게 조절할 수 있음을 의미한다.

핵심 정의는 (Z, enc_Z, dec_Z) 삼중항으로, Z는 입력 X와 독립적인 공유 랜덤 변수이며, enc_Z는 X를 비트열로 변환하고, dec_Z는 해당 비트열과 Z를 이용해 목표 분포 Y|X를 샘플링한다. 이 구조는 채널 시뮬레이션, 코디네이트드 샘플링, 역채널 코딩 등 정보이론 문헌에서 다루는 개념과 동일하지만, 논문은 특히 기대 코드 길이가 I