고차원 관계 특징과 예측 학습을 이용한 시계열 모델링

본 논문은 비디오와 같은 고차원 시계열 데이터를 효율적으로 모델링하기 위해, 기존의 양선형 관계 학습 모델인 게이트형 자동인코더(Gated Autoencoder, GAE)를 확장한 고차원 관계 모델(Higher‑order Gated Autoencoder, HGAE)를 제안한다. GAE는 두 프레임 x^(1), x^(2) 사이의 선형 변환 L을 추정하고, 이를 매핑 유닛 m에 인코딩한다. 매핑 유닛은 입력 이미지의 절대 내용이 아니라 변환 자체에 불변하도록 학습되며, 이는 이미지 간 위상 차이를 포착한다는 점에서 동작을 효과적으로 표현한다. 그러나 GAE는 변환이 시간에 따라 일정하다는 가정에 크게 의존한다. 실제 영상에서는 가속·감속·회전·비선형 변형 등 복잡한 동작이 연속적으로 발생하므로, 단일 변환만으로는 충분히 설명할 수 없다. 이를 해결하기 위해 논문은 두 단계의 양선형 모델을 연쇄적으로 연결한 HGAE 구조를 설계한다. 첫 번째 레이어 GAE는 인접 프레임 쌍 (x^(t‑2), x^(t‑1))와 (x^(t‑1), x^(t)) 사이의 1‑order 매핑 m^(1)_(t‑2:t‑1)와 m^(1)_(t‑1:t) 를 추출한다. 두 번째 레이어 GAE는 이 두 매핑을 입력으로 받아, 매핑 간의 관계를 또다시 양선형 방식으로 학습한다. 즉, 두 번째 레이어는 m^(2)_(t‑2:t) 라는 2‑order 매핑을 생성한다. 이 2‑order 매핑은 변환의 변환, 즉 가속도와 같은 정보를 인코딩한다. 논문은 이러한 구조를 “변환의 변환을 모델링하는 고차원 매핑 유닛”이라고 정의하고, 이를 통해 장기적·복합적인 시간 의존성을 포착한다. 학습 목표는 기존의 재구성 손실이 아니라 다단계 예측 손실로 전환한다. 1‑step 예측에서는 첫 번째 레이어에서 추정한 m^(1) 를 그대로 사용해 다음 프레임을 생성한다. 다중 단계 예측에서는 두 번째 레이어에서 예측한 미래의 m^(1) 를 먼저 구하고, 이를 이용해 미래 프레임을 생성한다. 구체적으로, ˆm^(1)_(t:t+1) = V₂ᵀ·(U₂·m^(1)_(t‑1:t) ⊙ W₂·m^(2)_(t‑2:t)) 로 계산하고, 이를 V₁ᵀ·(U₁·x^(t) ⊙ W₁·ˆm^(1)_(t:t+1)) 에 적용해 ˆx^(t+1) 를 얻는다. 이렇게 하면 변환 자체가 서서히 변한다는 가정을 명시적으로 반영하게 된다. 모델 파라미터는 역전파를 통한 시간에 대한 미분(Back‑Propagation Through Time, BPTT)으로 최적화한다. 논문은 학습 초기에는 1‑step 예측 손실만 사용하고, 점진적으로 예측 단계 수(k)를 늘려가며 학습하는 커리큘럼 방식을 도입한다. 이는 예측 오류가 누적되어 발생할 수 있는 발산 현상을 방지하고, 모델의 안정적인 수렴을 돕는다. 실험은 세 가지 데이터셋을 대상으로 수행되었다. 첫 번째는 인공적으로 생성한 상수 이동(CONST_SHIFT) 및 상수 회전(CONST_ROT) 데이터로, 변환이 일정한 경우를 테스트한다. 두 번째는 가속된 변환을 포함한 합성 데이터(ACCEL)로, 변환이 시간에 따라 변하는 상황을 검증한다. 세 번째는 실제 자연 이미지(버클리 세그멘테이션 데이터)에서 추출한 패치를 이용한 비디오 데이터로, 복잡한 실제 동작을 평가한다. 모든 실험에서 입력은 PCA 화이트닝을 통해 차원을 축소하고, 95% 이상의 분산을 보존하도록 전처리하였다. 결과는 두 축면에서 두드러진다. (1) 예측 정확도: HGAE는 동일한 파라미터 수의 GAE 대비 다단계 예측 오차가 평균 15~30% 감소하였다. 특히 가속된 변환을 포함한 ACCEL 데이터에서는 2‑order 매핑이 없을 경우 예측이 급격히 악화되지만, HGAE는 안정적인 예측을 유지했다. (2) 변환 인식 성능: 변환을 라벨링(예: 회전 각도, 이동 방향)하는 분류 실험에서, 예측 학습을 적용한 모델이 재구성 학습보다 높은 정확도를 보였다. CONST_ROT 데이터에서는 8개의 회전 각도 구분에서 재구성 학습이 97.6%였던 반면, 1‑step 예측 학습은 98.2%를 기록했다. 또한, 층별 사전학습(pre‑training)이 없으면 HGAE가 수렴하지 못한다는 점을 발견했다. 첫 번째 레이어를 이미지 쌍에 대해 재구성 손실로 사전학습하고, 두 번째 레이어를 첫 레이어에서 추출한 매핑 쌍에 대해 사전학습한 뒤, 전체 모델을 예측 손실로 미세조정(fine‑tuning)하는 절차가 필수적이었다. 논문의 주요 기여는 다음과 같다. 첫째, 변환 간 변환을 모델링하는 고차원 관계 구조를 제안해 장기적·비선형 시계열 패턴을 포착한다. 둘째, 재구성 기반 학습에서 예측 기반 학습으로 목표 함수를 전환해 변환 불변성을 강화하고, 미래 예측 능력을 동시에 확보한다. 셋째, 다단계 예측을 위한 역전파 학습 절차와 단계적 학습 스케줄을 제시해 실제 데이터에 대한 학습 안정성을 확보한다. 향후 연구에서는 더 깊은 계층을 쌓아 3‑order 이상 변환을 모델링하거나, 순환 신경망(RNN)과 결합해 복합적인 시계열 과제에 적용하는 방향이 기대된다.