회전 불변·동등성을 위한 딥러닝 종합 가이드

이 논문은 회전 가능한 2차원·3차원 데이터에 대해 딥러닝 모델이 회전 불변성 혹은 회전 동등성을 어떻게 구현할 수 있는지를 포괄적으로 정리한다. 서론에서는 기존 CNN이 평행 이동에 대해서는 자연스럽게 equivariant하지만, 회전에 대해서는 그렇지 않으며, 단순히 데이터 증강에 의존할 경우 각 회전 각도마다 별도로 학습해야 하는 비효율성을 지적한다. **2장**에서는 핵심 수학적 개념을 정의한다. *Equivariance*는 입력 변환 π_g와 출력 변환 ψ_g가 동일한 그룹 원소 g에 대해 일관되게 작용한다는 정의이며, ψ=g인 경우를 *same‑equivariance*라 부른다. *Invariance*는 ψ가 항등함수인 특수 경우이다. *Exact* equivariance는 식 (1)이 완전히 만족되는 경우이며, *approximate*는 학습을 통해 근사적으로 만족되는 경우를 의미한다. *Steerability*는 회전된 필터를 고정된 basis 함수들의 선형 결합으로 표현할 수 있음을 뜻한다. 예시로 2D Gaussian의 1차 미분 필터가 cos·G_x + sin·G_y 형태로 회전될 수 있음을 보인다. *Group Convolution*은 일반적인 컨볼루션을 그룹 G 위에서 정의한 합성곱으로 확장한 것으로, G가 회전·이동 등 변환군일 때 equivariance를 보장한다. **3장**에서는 정확한 회전 동등성을 보장하는 세 가지 접근법을 소개한다. (1) *Hardwired Pose Normalization*은 PCA 등 고정된 변환을 이용해 입력을 표준 자세로 복원한다. 잡음·대칭에 민감하고 학습 가능한 저수준 특징을 활용하지 못한다는 한계가 있다. (2) *Handcrafted Feature Extractors*는 거리 기반 혹은 원점 기준 회전 불변 특성을 직접 설계한다. 최적화가 불가능하고 데이터에 맞추어 조정하기 어렵다. (3) *General Linear Equivariant Mappings and Equivariant Nonlinearities*는 가장 일반적이고 강력한 방법이다. 여기서는 두 가지 구현 경로가 있다. 첫 번째는 *irreducible representations*를 사용해 스테어러블 필터를 설계하고, 회전 각도에 대해 연속적인 동등성을 제공한다. 그러나 점별 비선형(ReLU 등)은 이 기반에서 equivariant하지 않으므로, 복소수 곱셈 기반 비선형이나 특수한 비선형을 사용해야 한다. 두 번째는 *regular representations*를 이용해 그룹 컨볼루션을 적용한다. 이 경우 회전 각도를 이산화(예: 45° 간격)하여 적용하지만, 기존의 ReLU, 배치 정규화 등을 그대로 사용할 수 있다. 실험적으로는 작은 각도 이산화와 점별 비선형을 결합한 그룹 컨볼루션이 2D 회전 문제에서 가장 좋은 성능을 보인다. 또한, 데이터가 픽셀·볼륨 그리드에 사전 정렬되지 않은 경우, 정확한 동등성은 격자와 객체 사이의 각도 차이로 인해 일부 손실될 수 있으며, 이는 깊은 층에서 증폭될 수 있다. **4장**에서는 정확한 동등성을 제공하지 못하지만 근사적으로 회전 동등성을 학습하도록 돕는 방법들을 다룬다. (1) *Data Augmentation*은 학습 단계에서 무작위 회전을 적용해 회전 변형에 대한 견고성을 키우지만, 네트워크 자체가 회전 불변성을 내재화하지는 않는다. (2) *Learned Pose Normalization*은 Spatial Transformer Networks와 같이 네트워크가 자체적으로 자세를 정규화하도록 학습한다. 이는 강제는 아니지만, 회전 정규화가 성능 향상에 기여한다. (3) *Soft Constraints*는 회전된 입력 쌍을 siamese 구조에 넣고, 임베딩 거리나 예측 차이를 최소화하는 보조 손실을 추가함으로써 회전 동등성을 약하게 강제한다. 구현이 간단하고 다른 방법과 결합 가능하지만, 정확도는 손실 설계와 데이터에 크게 의존한다. (4) *Deformable Convolution*은 입력에 따라 샘플링 위치를 변형시켜 회전·스케일·변형을 학습하게 한다. 유연성은 높지만, 동등성을 보장하지 않으며, 학습 데이터가 충분히 회전 변형을 포함해야 한다. **5장**에서는 전체 방법을 체계적으로 표로 정리한다. *5.1*에서는 입력 유형(픽셀, 볼륨, 포인트 클라우드, 구면 신호, 메쉬, dMRI)과 접근법, 속성(Equivariance/Invariant), 적용 그룹(SO(2), SE(2), SO(3), SE(3)), 연속/이산화 여부에 따라 2D와 3D 회전 방법을 각각 Table 1, Table 2에 나열한다. *5.2*에서는 회전을 출력하는 모델을 Table 3, Table 4에 정리한다. 여기서는 입력 데이터(이미지, 스테레오, 볼륨, 슬라이스, 비디오), 출력 회전 개수(단일 객체, 계층 구조), 특화 정도(특정 객체 vs 다중 객체 vs 일반화), 회전 표현(행렬, 쿼터니언, Euler, axis‑angle, 이산 bin 등) 등을 기준으로 분류한다. 특히 캡슐 네트워크는 회전 출력과 객체 계층 구조를 동시에 다루는 드문 사례로 강조된다. **6장 결론**에서는 정확한 회전 동등성을 제공하는 방법(스테어러블 필터·그룹 컨볼루션)이 대부분의 상황에서 우수하지만, 데이터가 격자에 정렬되지 않거나 연산 비용이 제한될 경우 근사적 방법(데이터 증강·학습 정규화·소프트 제약·변형 컨볼루션)을 조합하는 것이 실용적이라고 제언한다. 또한, 회전이 중요한 응용(물체 인식, 의료 영상, 로봇 비전, 3D 포인트 클라우드 처리 등)마다 요구되는 정확도와 연산량이 다르므로, 본 논문의 분류표를 활용해 적절한 접근법을 선택하는 것이 중요함을 강조한다.