이산 통신으로 보는 자기지도 학습

초록

본 논문은 시각 자기지도 학습을 교사‑학생 네트워크 간의 이산(바이너리) 통신 과정으로 재구성한다. 교사가 생성한 고정 용량의 바이너리 메시지를 학생이 예측하도록 하여, 요소별 이진 교차 엔트로피 손실과 코딩‑레이트 정규화를 결합한다. 이로써 연속형 특징 정렬이 아니라 다중 라벨 이산 일치를 통해 정보가 차원별로 구조화되고, 채널 용량을 효율적으로 활용하도록 유도한다. 실험 결과는 이미지 분류·검색·밀집 예측 등 다양한 다운스트림에서 기존 연속형 SSL 대비 일관된 성능 향상을 보여준다.

상세 분석

이 논문은 기존 SSL이 주로 연속형 임베딩 공간에서 코사인 유사도나 대비 손실을 이용해 두 뷰를 정렬하는 방식에 한계가 있음을 지적한다. 연속형 정렬은 정보가 여러 차원에 얽혀 표현되기 쉬워, 차원별 의미 해석이 어렵고, 특정 속성의 독립적 표현을 강제하기 힘들다. 이를 극복하기 위해 저자들은 “이산 통신”이라는 새로운 프레임워크를 제안한다. 교사 네트워크는 입력 이미지의 두 증강 버전에 대해 연속형 특징을 추출하고, 이를 작은 MLP 프로젝션 헤드를 통해 B 차원의 베르누이 파라미터(0~1 사이 확률)로 변환한다. 이 확률을 0.5 임계값으로 이진화해 하드 바이너리 코드 z를 생성한다. 학생 네트워크는 동일한 이미지의 다른 증강 버전을 입력받아 같은 프로젝션 헤드(학생 버전)를 거쳐 확률 p를 얻고, 이진 교차 엔트로피 손실을 통해 교사의 바이너리 코드를 재현하도록 학습한다.

핵심은 두 가지 정보이론적 목표를 동시에 최적화한다는 점이다. 첫째, 조건 엔트로피 H(Z₁|Z₂)를 최소화해 두 증강 사이의 일치를 강제한다. 이는 학생이 교사의 코드를 정확히 예측하도록 하는 BCE 손실로 구현된다. 둘째, 주변 엔트로피 H(Z)를 최대화해 채널 용량을 가득 채우고 비트 간 상관을 최소화한다. 직접적인 이산 엔트로피 추정이 어려워 저자들은 바이너리화 이전의 로짓 a에 대해 코딩‑레이트 정규화(L_rate)를 적용한다. 구체적으로 L2 정규화된 로짓의 공분산 행렬 A에 대해 −½·log det(I + d ε² A) 형태의 손실을 최소화함으로써 로짓이 단위 구면 위에 고르게 퍼지게 만든다.

또한, 프로젝션 헤드가 특정 파라미터화에 과도하게 의존하지 않도록 일정 에폭마다 헤드를 무작위 초기화한다. 이는 “주기적 랜덤 헤드” 전략으로, 백본이 다양한 이산 코딩 스키마에 강건하도록 만든다. 학습은 EMA 기반 교사와 학생을 교대로 업데이트하며, 전체 손실은 BCE와 코딩‑레이트 정규화의 가중합(L = L_BCE + β·L_rate)이다.

실험에서는 SimDINO 프레임워크를 기반으로 Vision Transformer와 ResNet 백본에 적용했으며, ImageNet‑1K 선형 프로빙, K‑Nearest Neighbor, 이미지 검색, COCO 객체 탐지·인스턴스 세그멘테이션, 비디오 객체 세그멘테이션 등에서 기존 연속형 SSL(예: SimCLR, BYOL, DINO, SimDINO) 대비 평균 1~3%의 개선을 기록했다. 특히 도메인 쉬프트 상황에서 자체 적응을 수행했을 때 성능 저하가 최소화되는 점이 주목된다.

코드와 바이너리 분석 결과, 학습된 비트는 서로 낮은 상관을 보이며, 클래스별로 의미 있는 패턴을 형성한다. 예를 들어, “동물”과 “교통수단” 클래스는 특정 비트 집합에서 높은 활성화를 보이며, 이는 재사용 가능한 의미 팩터가 이산 코드에 내재함을 시사한다. 따라서 이산 통신 프레임워크는 단순히 효율적인 검색용 해시를 만드는 것이 아니라, 백본이 보다 구조화된, 해석 가능한 표현을 학습하도록 유도한다는 점에서 학술적·실용적 가치가 크다.