좋은 예시란? 신경망 표현으로 본 전형성과 다양성의 균형

초록

본 연구는 인간이 새로운 범주를 가르칠 때 선택하는 예시가 어떻게 전형성(대표성)과 다양성 사이에서 절충되는지를 조사한다. 사전 학습된 비전 모델(ResNet‑50, ViT‑B/16)에서 추출한 특징 공간을 이용해 전형성, 공동대표성, 다양성, 그리고 이들의 조합을 최적화하는 네 가지 선택 기준을 정의하고, 1~3개의 예시를 선택하도록 요구한 성인 참가자들의 선택과 비교하였다. 결과는 공동대표성(또는 공동대표성 + 다양성) 기준이 인간 선택을 가장 잘 설명하고, 변형 기반 표현보다 트랜스포머 기반 표현이 인간 행동과 더 높은 일치도를 보임을 보여준다.

상세 분석

이 논문은 교육 상황에서 “어떤 예시를 선택해야 학습자가 범주를 가장 효율적으로 습득할 수 있는가”라는 질문을 정량화하기 위해 데이터셋 압축·디스틸레이션 분야의 알고리즘을 인간 인지 모델에 적용했다. 먼저, 기존 연구에서 사용된 1차원 형태 변이(morph) 시리즈인 ‘dax’, ‘vep’, ‘bem’이라는 세 가지 가상의 범주를 선정하였다. 각 범주의 0~100 스케일 위치에 따라 이미지가 생성되었으며, 이는 인간이 직관적으로 ‘중심(전형)’과 ‘극단(다양성)’을 구분할 수 있는 연속적인 공간을 제공한다.

특징 추출 단계에서는 ImageNet 사전 학습 모델인 ResNet‑50(컨볼루션 기반)과 ViT‑B/16(트랜스포머 기반)을 사용해 각 이미지의 2048‑차원(ResNet) 혹은 768‑차원(ViT) 임베딩을 얻고, L2 정규화 후 코사인 유사도로 거리 행렬을 만든다. 이렇게 정의된 특징 공간 위에서 네 가지 선택 목표를 수식화한다.

1. 전형성(Prototypicality): 각 이미지가 전체 데이터셋 평균 유사도(또는 중심 이미지와의 유사도)에서 얼마나 높은지를 점수화하고, 상위 M개를 선택한다. 이는 인간이 “가장 전형적인” 사례를 고른다는 가정을 검증한다.
2. 공동대표성(Representativeness): 시설 위치(facility location) 문제와 동일하게, 선택된 집합 S가 전체 데이터셋을 최소한 하나의 대표 이미지와 가깝게 만들도록 max_{|S|=M} Σ_i max_{j∈S} sim(i,j) 를 최대화한다. 이는 중복을 최소화하면서 전체 분포를 커버하려는 전략이다.
3. 다양성(Diversity): 선택된 집합 내 쌍간 거리의 합을 최대화한다. 이는 서로 다른 극단을 포괄하려는 목표이며, 전형성 기준과는 정반대의 방향성을 가진다.
4. 혼합 목표(Representativeness + Diversity): 위 두 목표를 단순 가중합(동일 가중치)으로 결합해, 대표성과 다양성을 동시에 만족시키는 최적 집합을 찾는다.

실험에서는 24명의 성인 피험자가 각 범주별로 1, 2, 3개의 예시를 선택하도록 했으며, 선택 결과를 위 네 가지 알고리즘이 제시한 최적 집합과 비교하였다. 인간 선택을 정량화하기 위해 ‘전형성 점수’(중심에서의 절대 거리 평균)와 ‘다양성 점수’(선택된 예시 간 최대 거리) 두 지표를 정의하고, 무작위 선택에 대한 기대값을 기준으로 차이를 검정하였다.

주요 발견은 다음과 같다. 첫째, 참가자들은 1개 예시를 고를 때는 중심에 가까운 전형적인 이미지를 선호했지만, 2·3개를 고를 때는 점차 극단에 가까운 이미지를 포함시켜 다양성을 높이는 경향을 보였다. 이는 인간이 “하나만 제시하면 핵심을, 여러 개 제시하면 범위 전체를 보여주려는” 유연한 전략을 구사함을 의미한다. 둘째, 전형성 전용 알고리즘은 인간 선택을 가장 못 맞추었으며, 특히 2·3개 조건에서 인간이 선택한 다양성 점수가 전형성 기준보다 현저히 높았다. 셋째, 공동대표성 기준은 인간 선택과 가장 높은 상관관계를 보였으며, 특히 트랜스포머 기반 ViT 임베딩에서 그 일치도가 가장 높았다. 이는 전역적인 self‑attention이 인간이 범주 구조를 파악하는 방식과 더 유사함을 시사한다. 넷째, 공동대표성 + 다양성 혼합 목표 역시 인간 선택을 잘 설명했지만, 추가적인 가중치 조정 없이 단순 합산했을 때는 약간 과도한 다양성 편향이 나타났다.

결과적으로, 인간 교사는 “전체 분포를 대표하면서도 중복을 최소화하는” 전략을 자연스럽게 채택한다는 결론에 도달한다. 또한, 최신 트랜스포머 비전 모델이 인간의 교사적 판단을 모사하는 데 더 적합하다는 점은, 머신러닝에서 데이터 압축·디스틸레이션 기법을 인간 교육 모델에 직접 적용할 가능성을 열어준다.