변환 이미지 재구성을 통한 자기지도 학습: 등가성 일관성 특징 표현

초록

본 논문은 이미지 변환 경로상의 중간 상태를 재구성하는 보조 과제를 기존의 joint‑embedding 자기지도 학습에 결합함으로써, 변환 정보를 보존하는 등가성‑일관성 특징을 학습한다. 특징을 불변 부분과 등가성 부분으로 분리하고, 등가성 부분을 이용해 중간 변환 이미지를 복원함으로써 변환 정보를 억제하지 않고 활용한다. 실험 결과, 합성 등가성 벤치마크에서 기존 방법을 크게 능가하면서도 분류 등 불변성을 요구하는 다운스트림 작업에서도 경쟁력을 유지한다.

상세 분석

이 연구는 현재 대부분의 자기지도 학습(SSL) 방법이 변환 불변성을 강제함으로써 변환 정보를 손실한다는 근본적인 한계를 지적한다. 기존의 SIE와 같은 접근은 변환을 선형 연산자로 모델링하려 하지만, 이는 복잡한 비선형 변환이나 비군(Group) 변환에 대해 과도한 제약을 가한다. 논문은 이러한 제약을 완화하기 위해 “등가성‑일관성(equivariant‑coherence)”이라는 새로운 정의를 제시한다. 이는 변환이 반드시 선형이거나 군 구조를 이룰 필요 없이, 특징 공간이 입력 변환을 복원할 수 있는 충분한 정보를 보유하도록 요구한다.

핵심 아이디어는 변환 경로상의 중간 이미지(예: 30° 회전의 경우 10°, 20° 회전)를 재구성하도록 하는 보조 과제를 도입하는 것이다. 이를 위해 두 개의 뷰를 생성하고, 두 번째 뷰에 연속적인 변환 시퀀스를 적용한다. 이후 인코더는 두 뷰를 각각 처리하고, 특징 벡터를 불변 부분(z_inv)과 등가성 부분(z_equi)으로 분할한다. 불변 부분은 기존 SSL 손실(VICReg, iBOT 등)로 학습되고, 등가성 부분은 간단한 디코더(선형 층 + 4개의 컨볼루션)와 L2 재구성 손실을 통해 중간 변환 이미지를 복원한다.

이 설계는 몇 가지 장점을 가진다. 첫째, 등가성 매핑을 선형으로 가정하지 않으므로 복잡한 변환에도 유연하게 대응한다. 둘째, 디코더를 경량화함으로써 인코더가 주요 학습을 담당하게 하여, 기존 SSL 파이프라인에 최소한의 오버헤드만 추가한다. 셋째, 특징 차원을 d_equi로 조절함으로써 등가성 정보의 양을 제어할 수 있어, 불변성 요구가 높은 작업과 등가성 요구가 높은 작업 사이의 트레이드오프를 효율적으로 관리한다.

실험에서는 합성 변환 벤치마크(R² 값)에서 K=2, λ≈1.0, d_equi≈0.2·d_total 등 최적 하이퍼파라미터를 탐색하였다. 결과는 기존 SIE와 비교해 모든 변환 종류(rot, color, blur, trans, SE(2))에서 R²가 크게 향상되었으며, 특히 회전 변환에서 0.9983 대비 0.990 수준을 기록했다. 또한 iBOT·DINOv2 기반의 베이스라인에 본 방법을 적용했을 때, 세그멘테이션, 객체 검출, 깊이 추정, 비디오 밀집 예측 등 다양한 다운스트림 과제에서 평균 1~2%의 성능 향상을 보였다.

한계점으로는 중간 변환 재구성 손실이 이미지 수준에서만 적용되므로, 고해상도 혹은 복잡한 텍스처를 가진 데이터에서 재구성 품질이 낮을 경우 등가성 특징 학습에 충분한 신호를 제공하지 못할 가능성이 있다. 또한 현재는 회전, 색상, 블러, 평행 이동 등 비교적 단순한 변환에 초점을 맞추었으며, 비선형 변형(예: 탄성 변형)이나 3D 변환에 대한 확장성은 추가 연구가 필요하다.

전반적으로 이 논문은 변환 정보를 억제하지 않는 새로운 SSL 보조 과제를 제시함으로써, 기존의 불변성 중심 SSL과 등가성 중심 모델 사이의 격차를 메우는 실용적인 프레임워크를 제공한다.