메모리리스 시스템의 정보 손실 다변량 분석

본 논문은 메모리리스(정적) 입력‑출력 시스템에서 발생하는 정보 손실을 체계적으로 정의하고, 다변량 연속 확률변수에 대해 정량화하는 방법을 제시한다. 먼저, 정보 손실 L(X→Y)을 “입력 X를 임의의 파티션으로 양자화한 ˆX와 원본 X, 출력 Y 사이의 상호정보량 차이의 최댓값”으로 정의한다(정의 1). 이 정의는 데이터 처리 불등식(DPI)을 직접 활용한 것으로, 파티션을 무한히 미세하게 하면 ˆX가 X에 수렴하고 손실은 조건부 엔트로피 H(X|Y)와 동일함을 정리 1에서 증명한다. 따라서 정보 손실은 출력이 입력을 얼마나 불확실하게 남기는지를 나타내는 양이다. 다변량 연속 확률변수 X∈ℝᴺ을 입력으로 하는 시스템을 고려한다. 정의 2에서는 입력 공간 X를 유한 개의 서로 겹치지 않는 부분집합 X_i 로 분할하고, 각 구역에서 변환 g_i가 전단사(bijective)이며 Jacobian 행렬 J_g가 거의 모든 점에서 존재하고 행렬식이 0이 아니도록 가정한다. 이러한 가정 하에 변환 g는 Borel‑측정 가능하고, 출력 Y의 확률밀도함수는 전치역 g⁻¹