시각 인식을 위한 자기정보 기반 신경망 구조 학습

초록

본 논문은 이미 학습된 대규모 멀티라벨 이미지 분류 모델에, 모델 자체의 예측을 이용해 시각적으로 유사한 라벨들을 군집화하고, 각 군집에 특화된 보조 네트워크를 추가함으로써 성능을 크게 향상시키면서 연산량을 3 % 이하로 제한하는 방법을 제안한다.

상세 분석

이 연구는 기존의 “전문가‑일반가” 구조와 지식 증류(distillation) 아이디어를 결합한 새로운 모델 확장 방식을 제시한다. 먼저, 학습된 기본 네트워크를 보류 데이터셋에 적용해 상위 K(=100) 예측 라벨과 실제 라벨 간의 혼동 행렬을 만든다. 이 행렬을 전치와 곱을 통해 대칭화한 뒤, 스펙트럴 클러스터링을 적용해 라벨들을 시각적 유사성에 기반한 여러 클러스터로 분할한다. 이렇게 얻어진 클러스터는 “전문가” 서브네트워크가 담당할 라벨 집합이 된다.

보조 서브네트워크는 두 개의 512‑유닛 ReLU 레이어로 구성되며, 기존 완전연결(FC) 스택과 병렬로 연결된다. 각 서브네트워크의 출력은 해당 클러스터에 속한 라벨 유닛에만 연결되는 가중치 행렬을 통해 최종 로짓을 만든다. 학습 단계에서는 기존 네트워크의 가중치를 고정하고, 새로 추가된 서브네트워크와 최종 분류기 가중치만을 학습한다. 이는 기존 표현을 보존하면서 보조 용량을 효율적으로 활용하도록 설계된 것이다.

실험에서는 구글 내부 JFT 데이터셋(≈1억 이미지, 17 000 라벨)과 Inception‑style 기본 모델을 사용하였다. 6개의 전문가 헤드(클러스터)와 13개의 헤드(공동 검출 기반) 두 가지 변형을 비교했으며, 라벨 클러스터링에 실제 라벨 정보를 이용한 경우(mAP 39.41 %)가 무작위 라벨 재배열(≈33 %)보다 현저히 우수했다. 연산량은 기본 모델의 1.52 B MAC에 비해 최대 2.6 % 증가(1.56 B MAC)로, 실시간 서비스 수준 협약(SLA) 하에서도 충분히 적용 가능함을 보여준다.

이 접근법은 (1) 모델 자체의 “소프트” 예측을 활용해 라벨 간 시각적 관계를 자동 추출한다는 점, (2) 기존 네트워크 구조를 크게 변경하지 않고도 전문가‑전문가 서브네트워크를 삽입해 성능을 개선한다는 점, (3) 연산 비용을 최소화하면서도 “조건부 계산”(conditional computation) 개념에 한 걸음 다가간다는 점에서 의미가 크다. 향후 연구에서는 클러스터별 용량 할당 최적화, 컨볼루션 레이어 수준의 전문가 삽입, 다중 단계의 반복 클러스터링 등을 통해 더 높은 효율성을 탐색할 수 있다.