인간 인덕티브 바이어스를 반영한 커널 학습

본 논문은 인간이 함수 학습에서 보여주는 뛰어난 외삽 능력을 정량적으로 모델링하고, 이를 통해 머신러닝 시스템에 인간‑유사 인덕티브 바이어스를 주입하는 방법을 제시한다. 연구는 크게 네 단계로 진행된다. 1. **데이터 수집 및 실험 설계** - 저자들은 Amazon Mechanical Turk를 통해 20명 이상의 참여자를 모집하고, 함수 학습 과제를 웹 기반 인터페이스에서 제공하였다. - 각 과제는 훈련 입력 \(X\)와 관측값 \(y\)를 제시하고, 테스트 입력 \(X_*\)에 대한 인간의 예측 \(y_*^{(j)}\)을 다중 선택형 혹은 연속형 입력으로 수집했다. - 함수는 기존 연구에서 주로 사용된 다항식·로그·지수·사인 형태가 아니라, RQ(Heavy‑tailed) 커널, SM·Linear 결합 등 복합적인 구조를 가진 GP로부터 무작위 생성하였다. 이는 인간이 단순 규칙에 의존하지 못하도록 설계된 ‘노이즈‑프리’ 데이터이다. 2. **커널 학습 프레임워크** - 전통적인 GP 커널 학습은 단일 데이터 실현 \(y\)에 대한 주변우도 \(p(y|X,k_\theta)\)를 최대화하는 방식이다. 그러나 인간 응답은 동일한 훈련 데이터에 대해 여러 개의 포스터리어 샘플을 제공한다는 점을 활용한다. - 저자들은 예측 조건부 주변우도 \(Q = \prod_{j=1}^{W} p(y_*^{(j)}|X,y,k_\theta)\) 를 정의하고, 이를 최대화함으로써 인간이 실제로 사용하는 ‘예측 커널’을 역추정한다. 여기서 \(W\)는 인간이 만든 샘플 수이며, 실험에서는 1, 10, 20개의 샘플을 사용해 학습 안정성을 검증하였다. - 커널 파라미터화는 두 가지 접근을 사용한다. (a) **스펙트럼 혼합 커널(SM)**: Wilson & Adams(2013)의 방법을 차용해 여러 가우시안 스펙트럼을 합성, 다양한 주기·스케일을 포착한다. (b) **비파라메트릭 공분산 추정**: 인간 응답 행렬 \(Y\) 의 경험적 공분산 \(YY^\top/M - \bar y\bar y^\top\) 을 직접 계산해 커널 형태를 추정한다. 비파라메트릭 방법은 사전 정의된 파라미터에 제한받지 않으며, 복잡한 비정형 패턴을 그대로 반영한다. 3. **실험 결과 및 분석** - **핵심 검증**: 알려진 커널(RBF)로 생성된 데이터를 사용해 인간이 만든 포스터리어 샘플을 역학습하였다. 단일 샘플만으로는 고주파 성분만 회복되었으나, 샘플 수가 증가할수록 저주파·장거리 상관까지 정확히 재구성되었다. 이는 다중 샘플이 인간 인덕티브 바이어스를 추정하는 데 충분한 통계 정보를 제공한다는 증거이다. - **진행적 학습**: 동일한 함수 집합을 순차적으로 제시하면서 인간이 어떻게 커널을 업데이트하는지를 관찰했다. 초기에는 RBF‑like 커널에 가까운 예측을 보였지만, 반복 경험 후에는 실제 데이터 생성 커널(RQ 또는 SM·Linear 결합)에 점점 더 근접하는 ‘Human Kernel’를 학습했다. 이는 인간이 경험을 통해 사전(프리어)을 동적으로 조정한다는 인지 과학적 가설을 실증한다. - **외삽 성능**: 인간 커널을 적용한 GP는 전통적인 RBF·다항식 커널이 크게 오류를 범하는 고주파·비선형 전이 과제에서도 인간 수준의 외삽 정확도를 달성했다. 특히, 인간이 선호하는 ‘단순성 + 구조 유지’라는 특성이 스펙트럼 혼합 형태로 잘 표현되었다. - **Occam’s Razor 비교**: 인간은 모델 복잡도에 대해 직관적으로 ‘가장 간단한 충분한 모델’을 선택하는 경향을 보였으며, 이는 GP의 주변우도 기반 선택이 실제보다 과소적합(under‑fitting) 경향을 보이는 것과 대비된다. 인간의 선택은 데이터 적합도와 복잡도 사이의 균형을 보다 직관적으로 조정한다는 점에서 자동화된 모델 선택에 대한 새로운 기준을 제시한다. 4. **시사점 및 미래 연구** - **인간‑인증된 커널**: 학습된 Human Kernel은 기존 GP 모델에 직접 삽입해 인간과 유사한 일반화 능력을 부여할 수 있다. 이는 자동화된 머신러닝(AutoML) 시스템이 ‘인간 친화적’인 사전 지식을 자동으로 획득하도록 하는 초석이 된다. - **다양한 모델에 적용 가능**: 현재는 GP에 국한했지만, 동일한 다중 샘플 기반 역학습 프레임워크는 딥러닝 모델, 베이지안 네트워크 등 다른 확률적 모델에도 확장 가능하다. - **심리학·신경과학 연계**: 학습된 커널 형태를 뇌 활동 패턴과 연결함으로써, 인간이 실제로 어떤 신경 메커니즘을 통해 함수 학습을 수행하는지 탐구할 수 있다. 결론적으로, 이 논문은 인간의 함수 학습 데이터를 활용해 커널을 역설계함으로써, 인간 인덕티브 바이어스를 정량화하고 이를 머신러닝 모델에 통합하는 새로운 방법론을 제시한다. 다중 샘플 기반 학습, 스펙트럼 혼합 커널, 비파라메트릭 추정이라는 세 가지 기술적 혁신을 통해 인간과 기계 사이의 학습 격차를 좁히는 데 중요한 기여를 한다.