일반 알파벳을 갖는 정상 혼합 소스의 공동 보편 손실 코딩 및 식별

초록

본 논문은 폴리시 공간(Polish) 알파벳을 갖는 β‑mixing 정상 소스들의 파라메트릭 클래스에 대해, 변수 길이 손실 압축과 동시에 소스 파라미터를 식별하는 보편적인 알고리즘을 제시한다. 압축 효율은 라그랑지안(Lagrangian) 적합도로, 식별 정확도는 변분 거리로 측정한다. 충분히 빠른 혼합 속도와 매끄러움·VC 학습 가능성 조건을 만족하면, 블록 길이 n에 대해 라그랑지안 여분이 O(√(V_n log n / n)) 로 수렴하고, 디코더는 n‑차원 주변분포를 변분 거리 O(√(V_n log n / n)) 반경의 구 안에 거의 확실히 복원한다. 여기서 V_n은 n‑차원 주변분포가 정의하는 결정 영역 클래스의 VC 차원이다.

상세 분석

이 연구는 두 가지 목표를 동시에 달성하는 보편적인 스킴을 설계한다. 첫째, 변수‑길이 손실 코딩을 통해 주어진 왜곡 측정(거리) 아래에서 평균 코드 길이를 최소화한다. 둘째, 디코더가 압축된 데이터를 이용해 현재 사용 중인 소스의 파라미터를 추정하고, 그 파라미터가 정의하는 n‑차원 주변분포를 변분 거리 기준으로 정확히 복원한다. 핵심 가정은 소스가 β‑mixing이며, 혼합 계수가 n에 대해 충분히 빠르게 0으로 수렴한다는 점이다. 이는 의존성이 충분히 약해져서 독립 표본에 대한 전통적인 VC 이론을 적용할 수 있게 만든다.

논문은 먼저 소스 클래스 ℱ = {P_θ : θ∈Θ}를 정의하고, 각 θ에 대해 n‑차원 주변분포 P_θ^n이 존재함을 가정한다. 이어서 손실 함수 d(·,·)가 유계(metric)임을 전제하고, 라그랑지안 비용 L_n = ℓ + λ · E