인컨텍스트 반지도학습: 변환기 기반 라플라시안 표현과 그래디언트 기반 추론

초록

본 논문은 라벨이 적은 상황에서도 변환기(Transformer)가 비지도 데이터의 구조를 활용해 효과적인 표현을 학습하고, 이를 이용해 인컨텍스트 반지도학습(IC‑SSL)을 수행할 수 있음을 보인다. 두 단계의 변환기 설계(라플라시안 기반 Eigenmap → 그래디언트 기반 분류)와 end‑to‑end 학습을 통해 저라벨 환경에서 기존 ICL 대비 높은 정확도와 일반화 능력을 입증한다.

상세 분석

이 논문은 기존 인컨텍스트 학습(ICL)이 라벨이 있는 샘플만을 이용해 함수 추정을 수행한다는 한계를 지적하고, 라벨이 없는 다수의 샘플이 제공되는 반지도학습 상황을 새로운 프레임워크인 IC‑SSL로 정의한다. 핵심 아이디어는 “컨텍스트”를 라벨이 있는 데이터와 라벨이 없는 데이터를 모두 포함하도록 확장하고, 변환기가 순전파 단계에서 직접 라플라시안 행렬을 구성·정규화한 뒤, 그 고유벡터(Eigenmap)를 계산하도록 설계한다는 점이다. 이를 위해 저자는 두 개의 서브 모듈을 제안한다. 첫 번째 모듈 TF_L은 입력 토큰들의 유클리드 거리 기반 RBF 가중치를 이용해 이산 라플라시안 L̂을 생성한다. 논문에서는 단일 헤드·단일 레이어 구조에서도 라플라시안이 정확히 구현될 수 있음을 보이며, 실제 구현에서는 다중 헤드·다중 레이어를 사용해 여러 대역폭 h의 라플라시안을 동시에 학습한다는 실용적 선택을 제시한다. 두 번째 모듈 TF_ϕ는 TF_L의 출력인 L̂을 입력으로 받아 전력 반복(power iteration) 메커니즘을 변환기 내부에 매핑함으로써 원하는 차원의 고유벡터를 추출한다. 이 과정은 기존 그래프 기반 임베딩(예: Laplacian Eigenmaps)을 인컨텍스트 방식으로 구현한 것으로, 토큰 자체가 그래프 정점 역할을 하면서 전체 컨텍스트에 대한 기하학적 정보를 내재한다.

표현이 얻어지면, 두 번째 변환기 TF_sup은 라벨이 있는 샘플의 (ϕ(x), y) 쌍을 이용해 함수 f를 학습한다. 저자는 f가 소프트맥스 형태의 선형 분류기이며, TF_sup의 순전파가 실제로 커널화된 그래디언트 디센트(gradient descent)를 수행한다는 수학적 증명을 제공한다. 즉, 변환기의 어텐션과 MLP가 각각 라플라시안 기반 스펙트럴 필터링과 파라미터 업데이트 역할을 수행해, “학습”이라는 외부 최적화 과정을 내부 연산으로 대체한다.

학습 목표는 비라벨 샘플에 대한 교차 엔트로피 손실을 최소화하는 것이며, 파라미터는 TF_L, TF_ϕ, TF_sup, 그리고 클래스 임베딩 w_c 전체에 대해 end‑to‑end로 최적화된다. 이렇게 하면 라벨이 없는 데이터가 제공하는 기하학적 구조가 직접적으로 표현 학습에 기여하고, 라벨이 적은 상황에서도 강건한 분류 경계를 형성한다.

실험에서는 3차원 구면·원통·원뿔·스위스롤·토러스와 같은 저차원 합성 매니폴드, 15차원 제품 매니폴드, 그리고 Stable Diffusion v1.5에서 생성된 고차원 이미지 매니폴드, 마지막으로 ImageNet‑100 특징 공간을 대상으로 평가한다. 모든 실험에서 제안된 두 단계 변환기가 라플라시안 Eigenmap을 사전 계산한 오프라인 방법이나 단순한 라벨‑프롬프트 기반 ICL보다 일관되게 높은 정확도를 보였으며, 특히 라벨 수가 1~5개 수준으로 극히 적을 때 그 차이가 두드러졌다. 또한, 훈련된 모델은 새로운 기하학적 형태(예: 다른 매니폴드)나 전혀 다른 도메인(이미지)으로 전이했을 때도 성능 저하가 미미해, 학습된 표현이 데이터의 내재된 구조를 캡처하고 있음을 확인한다.

이 논문의 주요 기여는 다음과 같다. 1) 인컨텍스트 반지도학습이라는 새로운 설정을 정의하고, 라벨이 없는 데이터의 구조를 활용하는 메커니즘을 제시함. 2) 변환기 내부에 라플라시안 구축·Eigenmap 계산·그래디언트 디센트 구현을 명시적으로 매핑한 두 단계 아키텍처를 설계함으로써, 변환기의 깊이와 비선형성이 왜 반지도학습에 필수적인지를 이론적으로 설명한다. 3) 다양한 차원·도메인에서 실험을 통해 제안 방법이 샘플 효율성, 일반화, 그리고 기하학적 일관성 측면에서 기존 최첨단 방법을 능가함을 입증한다. 이러한 결과는 변환기가 단순히 “패턴 매칭”을 넘어, 실제 그래프 신호 처리와 최적화 알고리즘을 내부적으로 수행할 수 있음을 보여주며, 향후 대규모 언어·비전 모델에서 라벨이 부족한 상황에 대한 효율적인 학습 전략으로 활용될 가능성을 제시한다.