정보이론 기반 이산 포아송 확산 모델

초록

**
ItDPDM은 포아송 잡음 채널을 이용해 비음수 이산 데이터를 직접 모델링하고, 정보이론적 포아송 재구성 손실(PRL)을 통해 정확한 로그우도 추정이 가능하도록 설계된 확산 생성 모델이다. 변분 하한 대신 실제 데이터 가능도와 정확히 연결되는 손실을 사용함으로써 기존 이산·연속 확산 모델보다 향상된 likelihood와 샘플 품질을 보인다.

**

상세 분석

**
ItDPDM은 기존 확산 모델이 직면한 두 가지 근본적인 문제—연속 임베딩에 의존하는 비효율성 및 변분 하한을 최적화함으로써 발생하는 로그우도 부정확성을—를 동시에 해결한다. 핵심 아이디어는 비음수 이산 변수 x 에 대해 SNR γ 를 매개변수로 하는 포아송 잡음 채널 z₍γ₎ ~ Poisson(γx) 을 정의하고, 이 채널을 통해 단계별 “노이즈”를 주입하는 것이다. 포아송 채널은 가우시안과 달리 비선형이며, 입력과 잡음이 직접적으로 분리되지 않기 때문에 역전파와 역샘플링이 복잡해진다. 이를 극복하기 위해 저자들은 포아송 재구성 손실(PRL) l(x, x̂)=x log(x/x̂) − x + x̂을 도입한다. PRL은 포아송 분포의 로그 순간생성함수의 볼록 공액으로, Bregman 발산의 특성을 갖는다. 따라서 기대 손실 E