LLM의 인컨텍스트 함수 학습을 가우시안 프로세스로 해석하기

초록

본 논문은 대규모 언어 모델(LLM)이 인컨텍스트 학습을 통해 연속 함수들을 어떻게 학습하는지를 가우시안 프로세스(GP) 관점에서 정량화한다. 모델에 다양한 GP 커널(매터니 ½, 스퀘어드 익스포넨셜)로 생성된 함수 샘플을 시연(demonstration)으로 제공하고, 시연 수에 따른 절대 오차 학습곡선을 GP 회귀(하한)와 1‑NN(상한)과 비교한다. 또한 로그우도 기반의 인덕티브 바이어스 분석을 통해 LLM이 실제로는 매끄럽지 않은 커널을 선호한다는 사실을 밝혀내고, QLoRA 기반의 감독 미세조정(SFT)과 강화학습(GRPO)으로 이러한 바이어스를 더 매끄러운 커널 쪽으로 이동시킬 수 있음을 실험적으로 입증한다.

상세 분석

이 연구는 인컨텍스트 학습(ICL)을 비모수 회귀 문제로 재구성함으로써 LLM의 학습 메커니즘을 기존 통계학적 기준과 직접 비교한다. 실험은 1‑4 차원 입력 공간에서 각각 200개의 함수 샘플을 네 종류의 커널(매터니 ½, 매터니 1.5, 매터니 2.5, 스퀘어드 익스포넨셜)과 두 가지 길이 스케일(ℓ=1,8)로 생성한다. 각 함수에 대해 0~29 구간에서 50개의 입력을 무작위 추출하고, 가우시안 노이즈(σ²_ε=0.001)를 추가한다. LLM은 Qwen‑3 시리즈(8B, 14B, 32B)와 추가로 Llama, Gemma, Mistral 계열을 4‑bit 양자화 상태로 테스트한다.

학습곡선 E(n)=E