다중이질 뷰를 활용한 자기표현 학습으로 불변 표현 획득

초록

본 논문은 서로 다른 사전학습 모델이 생성한 이질적인 특징들을 하나의 불변 표현으로 통합하기 위해, 각 백본 위에 선형 변환기를 두고 자기표현 기반 정보 전달 메커니즘과 뷰 간 할당 확률 일관성(APDC) 스킴을 도입한 MSRL(Multiview Self‑Representation Learning) 프레임워크를 제안한다. 이 방법은 완전 비지도 전이 학습 상황에서도 다양한 벤치마크에서 기존 최첨단 기법들을 지속적으로 능가한다.

상세 분석

MSRL은 먼저 여러 사전학습(backbone) 모델을 고정하고, 각 모델의 출력에 선형 변환 σ(·;·)을 적용해 저차원 특징 h를 얻는다. 여기서 선형 변환의 가중치 W는 학습 가능한 파라미터이며, 클러스터 수 C와 연계되어 있다. 핵심은 “자기표현(self‑representation)” 속성을 활용해 각 h를 동일 집합 H의 선형 결합으로 재구성한다는 점이다. 이를 위해 논문은 정보‑전달(information‑passing) 메커니즘을 설계했으며, 구체적으로는 두 특징 h_i와 h_j를 연결한 뒤 ReLU·v·