희소 CLIP 대조 학습에서 해석 가능성과 성능을 동시에 최적화

초록

본 논문은 CLIP의 밀집 표현을 고차원으로 확장하고 ReLU 비음성 제약을 적용해 학습 단계에서 직접 희소성을 주입함으로써, 해석 가능하면서도 기존 CLIP과 동등하거나 더 높은 성능을 보이는 멀티모달 표현을 얻는다. 작은 규모 실험을 통해 비음성 제약과 차원 확장이 희소성 형성에 핵심임을 확인하고, 대규모 학습에서는 ViT‑L/14 기반 모델을 55 296 차원으로 확장해 0.5 % 이하의 L0 희소도와 이미지넷·오브젝트넷 등 다양한 제로샷 벤치마크에서 기존 밀집 모델을 능가하는 결과를 얻었다. 또한, 희소 특징을 이용해 개념 정렬과 학습 과정 시각화를 수행하고, 희소 CLIP을 입력으로 하는 비전‑언어 모델을 구축해 해석 가능한 시각 기반 스티어링을 시연하였다.

상세 분석

Sparse CLIP은 기존 CLIP의 구조를 크게 변형하지 않으면서 두 가지 핵심 변화를 도입한다. 첫째, 최종 프로젝션 레이어 뒤에 ReLU를 삽입해 모든 출력이 비음성이 되도록 강제한다. 이는 최근 연구가 제시한 비음성 대조 학습이 비음성 행렬분해(NMF)와 동등함을 이론적으로 뒷받침한다는 점과 연결된다. 둘째, 프로젝션 차원을 기존 512 ~ 1024 수준에서 수만 차원(논문에서는 55 296)으로 확장한다. 딕셔너리 학습 이론에 따르면 충분히 큰 차원(딕셔너리) 없이는 희소 코드를 효과적으로 학습하기 어렵다. 작은 규모 실험(ViT‑B/32, 15 M 이미지‑텍스트)에서 차원 확장 없이 비음성 제약만 적용하면 성능이 급격히 떨어지는 반면, 차원을 크게 늘리면 제로샷 정확도가 비음성 제약이 없을 때보다 오히려 상승한다.

희소성 형성 메커니즘을 비교하기 위해 L1 정규화, Top‑K 활성화(K=512), ReLU 세 가지 방법을 동일 조건에서 적용하였다. L1과 Top‑K는 초기부터 활성화가 급격히 억제돼 표현 용량이 제한되고, 결과적으로 이미지넷 제로샷 정확도가 0.18 % 수준에 머물렀다. 반면 ReLU는 학습 초기에 거의 모든 유닛이 활성화된 상태에서 점진적으로 비음성 제한에 의해 자연스럽게 희소해지며, 최종 정확도는 0.20 %까지 회복된다. 이는 희소성을 급격히 강제하기보다 학습 과정에서 점진적으로 형성하도록 유도하는 것이 모델 용량을 유지하는 데 중요함을 시사한다.

또한, CLIP의 로그스케일(temperature) 파라미터를 상한값으로 제한함으로써 희소도 조절이 가능함을 발견했다. 로그스케일 상한을 50→40으로 낮추면 L0 희소도가 0.66 %에서 0.47 %로 감소하지만, 너무 낮추면(예: 20) 제로샷 성능이 급격히 하락한다. 따라서 적절한 로그스케일 범위 내에서 희소도와 성능 사이의 트레이드오프를 미세 조정할 수 있다.

대규모 실험에서는 ViT‑L/14 모델에 차원 확장 비율 72배(55 296 차원)를 적용하고, 전체 2.2 B 이미지‑텍스트 데이터셋을 6 epoch 학습했다. 결과적으로 Sparse CLIP 모델은 이미지넷‑1k, 이미지넷‑v2, ObjectNet, ImageNet‑A/R/S 등 6개 제로샷 분류 벤치마크에서 평균 0.5 %p 상승을 기록했으며, 일부 세부 데이터셋(예: Fine‑grained Foods‑101)에서는 0.7 %p까지 개선했다. Bounding‑Box 분류와 같은 오픈‑보캐뷸러 탐지 파이프라인에서도 밀집 모델을 능가했지만, COCO 캡션 기반 제로샷 이미지‑텍스트 검색에서는 약간 뒤처졌다. 이는 희소 모델이 이미지 내 주된 객체에 집중하는 경향이 있어 다중 객체를 기술하는 캡션과의 매칭에 불리하게 작용하기 때문이다.

해석 가능성 측면에서는, 희소 CLIP 특징이 멀티모달 특성을 유지하면서도 각 차원(특징)이 특정 시맨틱 개념과 강하게 정렬되는 것을 확인했다. 예를 들어 “동물”, “음식”, “풍경” 등 텍스트 프롬프트와 높은 코사인 유사도를 보이는 차원들을 자동으로 추출할 수 있었으며, 학습 초기에 이러한 차원들이 점진적으로 형성되는 과정을 시각화함으로써 교차 모달 지식이 어떻게 전파되는지 정량·정성적으로 분석했다. 마지막으로, 희소 CLIP 표현을 입력으로 하는 비전‑언어 모델을 훈련시켜, 사용자가 텍스트 명령으로 로봇의 시각 기반 스티어링을 제어하도록 구현함으로써 실용적인 인터프리터블 AI 시스템의 가능성을 입증했다. 전체적으로 이 연구는 “희소성 = 성능 저하”라는 기존 편견을 깨고, 학습 단계에서 희소성을 설계함으로써 해석 가능성과 높은 성능을 동시에 달성할 수 있음을 보여준다.