학습된 시각 표현의 변환 특성

초록

본 논문은 3차원 물체의 움직임에 따라 시각 표현이 어떻게 선형적으로 변환되는지를 그룹 표현 이론으로 분석한다. 선형 변환을 만족하는 표현은 불가약(irreducible) 표현들의 직합으로 분해될 수 있으며, 이러한 불가약 표현은 특정 조건 하에서 통계적으로 decorrelated(상관이 없게) 된다. 이미지가 투시 투영으로 부분 관측될 때는 라티트 공간에 선형 변환을 강제하는 모델을 도입하고, 이를 SO(3) 회전군을 이용한 NORB 객체 회전 실험으로 검증한다.

상세 분석

논문은 먼저 시각 표현을 “좋은” 것으로 정의한다. 여기서 좋은 표현이란 장면의 3차원 변환, 특히 SE(3)와 같은 리짓 바디 모션에 대해 선형적으로 동등(equivariant)하게 변환되는 것을 의미한다. 이를 수학적으로 정리하기 위해 그룹 표현 이론을 도입하고, T(g) : V → V 라는 선형 연산자를 정의한다. T(g) 가 그룹 구조를 보존하면 (T(g)T(h)=T(gh)) 이는 G의 표현이 된다. 핵심 정리는 모든 유니터리 표현은 불가약 표현들의 직합으로 동등(equivalent)하다는 점이다. 불가약 표현은 더 이상 비자명한 불변 부분공간을 포함하지 않으며, 블록 대각 형태로 변환될 수 있다.

이론적 결과는 두 가지 중요한 통계적 함의를 가진다. 첫째, 완전 관측 상황에서 템플릿 τ 를 무작위 그룹 원소 g 로 변환한 데이터 집합을 고려하면, 불가약 표현의 좌표는 서로 독립(또는 decorrelated)한다. 구체적으로, 컴팩트 군 G 에 대해 g 가 Haar 측도에 따라 균등하게 샘플링될 때, ˆx = ˆT(g)τ 의 공분산 행렬은 대각 행렬이 된다. 이는 푸리에 변환이 회전군에 대해 불가약 표현을 제공하고, 각 주파수 성분이 서로 상관이 없음을 보여준다.

둘째, 시간 연속적인 관측에 대해 선형 가우시안 모델 p(x_t|x_{t-1},g)=N(x_t;T(g)x_{t-1},σ²) 을 설정하면, 불가약 표현에 대한 충분통계가 행렬 원소 ˆT_l^{mn}(g) 로 표현된다. 이 경우, 사후 분포 p(g|x_t,x_{t-1})와 사전 분포가 같은 지수족에 머무르며, 관측 전후의 불가약 좌표는 조건부 독립성을 갖는다. 즉, 불가약 표현은 변환에 대한 구조적 제약을 제공함과 동시에 통계적 독립성을 자연스럽게 유도한다.

하지만 실제 시각 시스템은 투시 투영으로 인해 완전 관측이 불가능하다. 이미지 평면 I 에서는 SE(3) 의 선형 작용을 직접 정의할 수 없으며, 새로운 구조가 이미지에 들어오거나 가려지는 현상이 발생한다. 저자는 이 문제를 라티트 공간에 선형 변환을 강제하는 방식으로 해결한다. 구체적으로, 장면 x 를 라티트 변수 z 로 매핑하고, 각 뷰 v 에 대해 g_{n,v}∈SO(3) 로 회전시킨 뒤, 변환된 라티트 z_{n,v}=ˆT(g_{n,v})z_n 을 신경망 f_θ에 입력해 이미지 x_{n,v} 를 생성한다. 이 모델은 라티트 공간에서의 불가약 표현을 유지하면서, 관측된 이미지에 대한 확률적 생성 과정을 제공한다.

실험에서는 3D 회전군 SO(3) 의 불가약 표현을 실제로 구현하기 위해 Wigner‑D 매트릭스와 같은 고전적 회전 표현을 사용한다. NORB 데이터셋의 회전된 객체들을 여러 뷰로 관찰하고, 라티트 변수와 회전 매개변수를 jointly 학습한다. 결과는 라티트 공간이 회전에 대해 선형적으로 변환되고, 각 불가약 블록이 서로 decorrelated 되는 것을 확인한다. 이는 기존의 선형 변환을 이미지 공간에 직접 가정한 방법과 달리, 비가환 군의 복잡한 구조를 라티트 공간에서 정확히 다룰 수 있음을 보여준다.

전체적으로 이 논문은 “표현 학습”을 변환군의 대수적 구조와 연결시킴으로써, 변환 불변성뿐 아니라 변환 선형성, 불가약성, 통계적 독립성이라는 세 가지 축을 동시에 만족하는 시각 표현을 설계하는 새로운 패러다임을 제시한다.