동작 인코딩을 위한 시공간 동기화 학습

본 논문은 비디오에서 움직임을 자동으로 추출하는 새로운 방법을 제시한다. 기존의 모션 에너지 모델은 Gabor 필터와 같은 스페이시오-템포럴 필터의 응답을 제곱해 합산함으로써 위상에 무관한 움직임 정보를 얻는다. 그러나 이러한 방식은 움직임을 나타내는 변환 자체를 직접 검출하기보다는, 변환에 의해 생성된 특징들의 에너지 합에 의존한다는 한계가 있다. 저자들은 이를 **동기화(synchrony)** 라는 개념으로 재구성한다. 동기화는 두 프레임 x₁, x₂와 변환 P에 대해, 변환된 필터 w₂ = P w₁ 와 원본 필터 w₁ 을 각각 적용했을 때 응답이 동일한지( w₂ᵀx₂ = w₁ᵀx₁ )를 확인하는 조건이다. 변환 P가 실제 존재한다면 이 조건은 반드시 만족되므로, 동기화를 검출하면 변환을 추정할 수 있다. 하지만 전통적인 신경망 레이어는 가중합과 비선형 활성화만으로는 이러한 동기화를 효과적으로 검출하지 못한다. 가중합은 입력이 여러 특징의 선형 결합일 경우 응답이 평균화돼, 어느 하나라도 낮은 경우에도 전체 응답이 크게 유지되는 “OR” 연산과 유사하다. 따라서 동기화 검출을 위해서는 **곱셈형 게이팅**이 필요하다. 두 필터 응답을 곱(p = w₁ᵀx₁ · w₂ᵀx₂)하면, 어느 하나라도 낮으면 전체가 억제되어 논리적 “AND”와 같은 동작을 수행한다. 이 곱셈 연산은 완전히 로컬하게 구현 가능하므로, 각 유닛이 독립적인 학습 규칙을 적용할 수 있다. 학습 방법으로는 **Synchrony K‑means (SK‑means)** 를 도입한다. 기존 온라인 K‑means는 입력과 가장 가까운 클러스터 중심을 선택하고, 그 중심을 입력과의 차이로 업데이트한다. SK‑means는 승자‑택일 규칙을 변형해, 두 프레임 x와 y에 대한 투영값을 각각 계산하고 그 곱을 기준으로 승자를 선택한다. 즉, s = arg max_q