딥 렌더링 모델 기반 확률론적 딥러닝 이론

본 논문은 인간이 수행하는 시각·청각 인지 과제가 ‘넌시 변수’라 불리는 불필요하지만 큰 변동성(예: 물체의 위치·방향·크기, 음성의 억양·속도·피치 등) 때문에 어려워진다는 점을 출발점으로 삼는다. 이러한 변동성을 무시하고 단순히 클래스 라벨만을 학습하는 기존의 확률 모델은 고차원 데이터 공간에서 복잡한 매니폴드를 제대로 포착하지 못한다. 이를 해결하기 위해 저자들은 ‘렌더링 모델(Rendering Model, RM)’을 제안한다. RM은 클래스 c와 넌시 변수 g를 입력으로 받아 이미지 I를 생성하는 함수 R(c,g)를 정의하고, 여기에 지수족(Exponential family) 노이즈를 더해 관측 데이터를 모델링한다. 특히 Gaussian Rendering Model(GRM)은 R(c,g)와 가우시안 노이즈를 결합해 기존의 Gaussian Naïve Bayes와 Gaussian Mixture Model을 하나의 통합 프레임워크로 확장한다. RM은 두 가지 추론 방식을 제시한다. 첫 번째는 Sum‑Product RM Classifier(SP‑RMC)로, 모든 넌시 변수에 대해 합산하여 사후 확률 p(c|I)를 계산한다. 이는 전통적인 베이지안 마진화와 동일하다. 두 번째는 Max‑Sum RM Classifier(MS‑RMC)로, 가장 가능성 높은 넌시 변수 g*를 선택하고 그에 대한 조건부 확률을 최대화한다. 저자는 실제 렌더링이 거의 결정적이거나 노이즈가 적은 경우 MS‑RMC가 더 효율적이라고 주장한다. 다음으로 RM을 다층 구조로 확장한 ‘딥 렌더링 모델(Deep Rendering Model, DRM)’을 소개한다. DRM은 각 층이 affine 변환(예: 평행 이동, 회전, 스케일)과 비선형 활성화(예: max‑pooling)를 수행하도록 설계되며, 이러한 변환은 넌시 변수의 계층적 분해와 동일시된다. DRM의 그래프 구조는 메시지 패싱 알고리즘(합‑곱 또는 최댓값‑합)으로 추론을 수행하게 하며, 이는 합성곱 연산과 풀링 연산을 수학적으로 재현한다. 특히 max‑pooling은 “가장 가능성 높은 넌시 변수를 선택”하는 확률적 연산으로 해석된다. 판별 모델로의 전환은 RM/DRM의 생성적 목표를 변형해 bias‑variance trade‑off를 최소화하는 판별 손실로 바꾸는 과정이다. 이 과정에서 EM 알고리즘의 E‑step은 후방 메시지 전달, M‑step은 파라미터 업데이트와 동일하게 되며, 역전파(back‑propagation)와 동일한 형태의 그래디언트 계산이 도출된다. 따라서 심층 합성곱 신경망(DCN)은 DRM의 max‑sum 메시지 패싱 구현이라고 볼 수 있다. 또한 저자들은 DRM을 변형해 ‘진화적 DRM(E‑DRM)’을 정의하고, 이를 통해 랜덤 결정 포레스트(Random Decision Forest, RDF)를 유도한다. E‑DRM은 카테고리 계층을 모델링하고, 각 노드에서 최대 가능성 넌시 변수를 선택해 트리 구조를 만든다. 부트스트랩 집계(bootstrap aggregation)를 적용하면 과적합을 방지하고, EM 학습은 정보 최대화(InfoMax) 원칙과 일치한다. 논문은 기존 연구와의 관계도 정리한다. Mixture of Factor Analyzers, i‑Theory, Scattering Transform, Sparsity‑based 딥 아키텍처, Google FaceNet, 그리고 물리학의 Renormalization Theory 등과 DRM의 공통점과 차별점을 비교한다. 마지막으로 향후 연구 방향을 제시한다. (1) 조명·텍스처·복합 변형을 포함한 보다 현실적인 렌더링 모델 개발, (2) 소프트 인퍼런스(soft inference)와 같은 확률적 추론 기법 도입, (3) 상향식(top‑down) 합성곱 네트워크 설계, (4) 미분이 필요 없는 학습(derivative‑free learning)과 동영상 데이터에서의 동적 학습, (5) 라벨이 있는 데이터와 없는 데이터를 동시에 활용하는 반지도 학습(semi‑supervised) 프레임워크 등이다. 전체적으로 이 논문은 넌시 변수를 명시적으로 모델링하고, 생성‑판별 전이를 통해 현재 가장 성공적인 딥러닝 구조들을 확률 그래프 모델의 특수 케이스로 재해석함으로써, 딥러닝의 이론적 기반을 크게 확장한다.