영상 도메인 적응을 위한 모달성 협업 저랭크 분해기

초록

이 논문은 영상 다중 도메인 적응에서 각각의 모달성이 서로 다른 도메인 이동 수준을 가짐으로써 발생하는 복잡성을 해결하기 위해 모달성 협업 저랭크 분해기(MC-LRD)를 제안한다. MC-LRD는 다양한 도메인 이동 수준을 갖는 각각의 모달성 고유 및 공유 특징을 분리하여 도메인 정렬에 더 유리한 구조를 만든다.

상세 요약

이 논문은 영상 도메인 적응에서 다중 모달성을 활용하는 새로운 접근법을 제안한다. 기존 연구에서는 각각의 모달성이 서로 다른 도메인 이동 수준을 가짐으로써 발생하는 복잡성에 대해 충분히 고려하지 않았다. 이를 해결하기 위해 저자는 MC-LRD를 제안하는데, 이는 각 모달성을 구성하는 특징들을 분리하여 도메인 정렬에 유리한 구조를 만든다. MC-LRD는 여러 개의 분해기와 다중모달성 분해 라우터(MDR)로 구성되며, MDR은 특정 분해기를 선택적으로 활성화하여 모달성 고유 및 공유 특징을 생성한다. 이를 통해 각 모달성이 서로 다른 도메인 이동 수준을 가짐에도 불구하고 효과적인 도메인 적응이 가능하다.