동적 예측 코딩 네트워크로 학습하는 맥락 적응형 표현

본 논문은 딥러닝 모델이 데이터 표현을 개선하기 위해 사전(prior) 지식을 활용하지만, 기존의 고정된 사전은 데이터의 맥락(context)에 따라 유연하게 변하지 못한다는 한계를 지적한다. 이를 해결하고자 저자들은 ‘Deep Predictive Coding Networks(DPCN)’라는 새로운 계층적 생성 모델을 제안한다. DPCN은 각 층이 선형 상태공간 모델과 희소 코딩을 결합한 구조를 가지며, 상위 층의 예측 정보를 하위 층에 피드백함으로써 사전이 실시간으로 조정된다. ### 1. 모델 구조 - **기본 블록**: 각 층은 관측 모델 \(\tilde y_t = F(x_t)+n_t\)와 상태 전이 모델 \(x_t = G(x_{t-1},u_t)+v_t\)로 구성된다. 여기서 \(x_t\) 는 잠재 상태, \(u_t\) 는 ‘원인(cause)’이라 불리는 상위 정보이며, \(F\)와 \(G\)는 파라미터 \(\theta\) (주로 행렬 \(C, A, B\))에 의해 파라미터화된다. - **계층적 연결**: L‑층 모델에서는 각 층 \(l\) 의 원인 \(u^{(l-1)}_t\) 가 아래 층의 관측이 되고, 위 층의 원인 \(u^{(l)}_t\) 가 현재 층의 사전으로 작용한다. 이렇게 하면 전체 네트워크가 마코프 체인 형태를 이루어, 각 층은 바로 위·아래 층과만 직접 상호작용한다. ### 2. 특징 추출 및 풀링 - **희소 상태 추정**: 입력 패치 \(y_t\) 를 과잉 사전 \(C\in\mathbb{R}^{P\times K}\) 에 투영해 희소 상태 \(x_t\) 를 얻는다. 이때 에너지 함수 \(E_1\) 는 재구성 오차, 시간적 전이 일관성(ℓ₁‑정규화된 \(x_t-Ax_{t-1}\)), 그리고 상태 자체의 ℓ₁ 희소성을 포함한다. - **풀링 및 원인 추정**: 인접한 \(N\) 개의 패치에서 얻은 상태들을 합산(pool)하고, 이를 바탕으로 원인 \(u_t\) 를 추정한다. 원인 추정 에너지 \(E_2\) 는 상태들의 절대값에 가중치를 곱한 합과 원인 자체의 ℓ₁ 정규화를 포함한다. 가중치 \(\gamma_k\) 는 \(B\) 행렬과 \(u_t\) 의 비선형 변환을 통해 동적으로 조정돼, 특정 원인이 활성화될 때 연관된 상태들의 희소성 패널티가 감소한다. 이는 지역 변환(회전, 스케일 등)에 대한 불변성을 학습하게 만든다. ### 3. 최적화 및 추론 - **희소 상태 최적화**: \(E_1\) 의 비스무스(ℓ₁) 항과 상태 전이 항을 동시에 최소화하는 것이 어려우므로, 저자는 Nesterov 스무딩을 적용해 전이 항을 부드러운 근사 \(f_\mu\) 로 변환한다. 이후 전체 에너지 \(E\) 는 부드러운 부분 \(h(x_t)\)와 비스무스 부분 \(g(x_t)=\lambda\|x_t\|_1\) 으로 분리되고, FISTA 알고리즘을 이용해 효율적으로 최적화한다. - **원인 최적화**: \(E_2\) 는 원인 \(u_t\) 에 대해 부드러운 부분과 ℓ₁ 정규화가 명확히 구분되므로, 동일하게 FISTA를 적용한다. - **교번 최적화**: 전체 목표 \(E\) 에 대해 \(x_t\)와 \(u_t\)를 교대로 업데이트한다. 각 단계에서 FISTA의 스텝 사이즈를 유지함으로써 수렴 속도를 높인다. 비록 이 절차가 전역 최적성을 보장하지 않지만, 실험에서는 충분히 좋은 해를 얻는다. ### 4. 파라미터 학습 - **블록 좌표 하강법**: \(x_t, u_t\)를 고정한 뒤 \(\theta=\{A,B,C\}\)를 경사 하강법으로 업데이트한다. 파라미터는 시간에 따라 변할 수 있음을 고려해 듀얼 추정 필터링(dual‑estimation filtering) 방식을 적용한다. 즉, \(\theta_t = \theta_{t-1}+z_t\) ( \(z_t\) 는 가우시안 전이 잡음) 형태의 상태공간 모델을 가정해, 파라미터의 연속성을 유지한다. - **정규화**: \(C\)와 \(B\)는 각 업데이트 후 열 정규화를 수행해 스케일 불변성을 확보하고, 훈련 과정에서 퇴화되는 해를 방지한다. ### 5. 실험 및 결과 - **데이터**: 자연 비디오에서 동일 위치의 작은 패치를 추출해 시계열 입력으로 사용하였다. - **시각적 특징**: 최상위 층에서 얻은 원인 \(u_t\)는 회전·스케일·조명 변화에 대해 불변한 고수준 시각 특징을 형성함을 시각화하였다. - **잡음 강인성**: 구조적 잡음(예: 가려진 영역, 색상 변조)을 비디오에 삽입한 뒤 DPCN을 적용하면, 상위‑하위 피드백 메커니즘이 잡음에 의해 왜곡된 하위 상태를 교정해 재구성 오류가 크게 감소한다. 이는 전통적인 피드포워드 딥 네트워크가 잡음에 취약한 점을 보완한다는 점에서 의미가 크다. ### 6. 의의 및 한계 - **의의**: DPCN은 (i) 동적 시스템 기반의 희소 코딩, (ii) Nesterov 스무딩과 FISTA를 결합한 효율적 추론, (iii) 상하위 피드백을 통한 맥락 적응형 사전 학습, (iv) 풀링을 통한 지역 불변성 확보라는 네 가지 핵심 요소를 통합해, 시계열 비디오 데이터에 특화된 새로운 딥러닝 프레임워크를 제공한다. - **한계**: 현재 구현은 완전한 컨볼루션 형태가 아니며, 패치 단위 처리와 오프라인 학습에 의존한다. 대규모 고해상도 영상에 적용하려면 추가적인 구조적 최적화와 병렬화가 필요하다. 또한, 학습 과정에서 교번 최적화가 전역 최적성을 보장하지 않으므로, 초기화와 하이퍼파라미터 선택에 민감할 수 있다.