완벽한 대칭성은 없다: 데이터 주도 적응형 등변성 신경망 학습법 ACE

초록

실제 데이터는 노이즈와 편향으로 인해 완벽한 대칭성을 갖지 않습니다. 기존의 엄격한 등변성(Equivariant) 신경망은 이런 데이터를 학습하기 어렵고, 자유로운 모델은 대칭성을 활용하지 못합니다. 본 연구는 ‘Adaptive Constrained Equivariance(ACE)‘를 제안합니다. 이는 제약 최적화를 통해 초기에는 유연한 비등변성 모델로 시작해, 데이터에 맞춰 점차 등변성 제약을 강화하는 방법입니다. 이를 통해 학습 안정성, 샘플 효율성, 견고성을 모두 향상시킵니다.

상세 분석

본 논문은 등변성 신경망 학습의 근본적인 딜레마를 해결하는 새로운 프레임워크인 ACE를 제안합니다. 등변성은 입력의 변환(예: 회전)이 출력의 예측 가능한 변환으로 이어지도록 하는 네트워크의 속성으로, 알려진 대칭성을 인코딩하여 일반화와 샘플 효율성을 극대화합니다. 그러나 실제 세계의 데이터는 측정 노이즈, 구조적 변이, 편향 등으로 인해 이론적인 완벽한 대칭성에서 벗어나는 경우가 많습니다. 이로 인해 엄격하게 등변성을 강제하는 모델은 데이터에 적합하지 못할 수 있으며, 오히려 제한된 매개변수 공간 때문에 학습 자체가 어려워지는 문제도 발생합니다.

기존의 완화 방법은 두 가지 흐름이 있었습니다. 첫째, REMUL과 같이 손실 함수에 등변성 위반에 대한 패널티를 추가하고 그 가중치를 조정하는 방법은 최종 모델의 등변성 정도를 보장하지 못하며 많은 수동 조정이 필요했습니다. 둘째, 아키텍처 자체를 변형하여 등변성 레이어에 섭동을 가하고 사용자 정의 스케줄에 따라 점차 줄이는 방법은 최종 등변성을 보장하지만, 이 스케줄에 매우 민감하며 데이터의 부분적 대칭성 붕괴를 고려하지 못했습니다.

ACE는 이러한 문제를 ‘제약 최적화’의 렌즈를 통해 접근합니다. 핵심 아이디어는 등변성 모델 학습 문제를 “γ=0이라는 등변성 제약 하에서 목적함수(예: 분류 오차)를 최소화하라"는 문제(PI)로 재정의하는 것입니다. 이 문제의 쌍대 문제(DI)를 풀면, 라그랑지안에 등변성 위반(γ_i)에 대한 쌍대 변수(λ_i)가 곱해진 형태가 됩니다. 알고리즘 1은 이 쌀대 문제를 경사하강법(θ, γ에 대해)과 경사상승법(λ에 대해)으로 번갈아 가며 푸는 과정입니다. 초기 γ를 0이 아닌 값(예: 1)으로 설정함으로써, 학습은 유연한 비등변성 모델에서 시작합니다. 학습 중 γ_i에 대한 경사하강 단계는 목적함수를 줄이면서 동시에 쌀대 변수 λ_i의 영향으로 γ_i를 0으로 끌어당깁니다. λ_i는 시간이 지남에 따라 γ_i가 0에서 벗어나 있는 정도에 비례하여 누적됩니다. 따라서 데이터의 대칭성이 학습에 도움이 되면 λ_i의 압력으로 γ_i가 0으로 수렴하여 등변성 모델로 진화하고, 대칭성이 오히려 방해가 된다면 γ_i는 목적함수를 줄이는 방향으로 어느 정도 유지될 수 있습니다. 이 과정은 사전에 정의된 패널티 가중치나 스케줄이 아닌, 데이터와 학습 과정 자체에 의해 자동으로 조정됩니다.

또한, 논문은 부분적 등변성 데이터를 공식적으로 처리하기 위해 제약을 γ_i = 0에서 |γ_i| ≤ u_i (u_i는 작은 양수)로 완화하는 확장을 제안합니다(알고리즘 2). 이를 통해 데이터에 내재된 대칭성 붕괴 정도를 감지하고, 그에 맞춰 등변성 요구 사항을 적응적으로 완화할 수 있습니다. Theorem 4.1은 제안된 아키텍처(등변성 레이어 + γ_i * 비등변성 레이어)에서 γ_i가 작을 경우, γ_i를 0으로 강제 설정했을 때 발생하는 근사 오차가 제한적임을 보장하여 방법의 실용성을 뒷받침합니다.