모델은 우리처럼 듣는가 오디오 LLM과 자연주의 EEG의 표현 정렬 탐구

초록

본 연구는 12개의 오픈소스 오디오 대형 언어 모델(Audio LLM)과 두 개의 자연스러운 청취 상황에서 수집된 EEG 데이터를 층별·시간별로 비교한다. 8가지 유사도 지표(RSA, CKA 등)를 활용해 모델 내부 표현과 뇌 전위의 기하학적·통계적 일치를 정량화하고, 정서적·운율적 변이(긍정·부정 억양)와의 관계를 분석한다. 주요 결과는(1) 유사도 지표에 따라 모델 순위가 크게 달라지는 ‘랭크 의존 분할’ 현상, (2) 250‑500 ms 구간(N400)에서 깊이에 따라 피크가 나타나는 시공간 정렬 패턴, (3) 부정 억양이 기하학적 유사도는 감소시키지만 공분산 기반 의존도는 강화한다는 정서적 분리이다.

상세 분석

이 논문은 오디오 LLM과 인간 뇌파 사이의 표현 정렬을 최초로 다층·다시간·다지표로 체계화한 점에서 학문적 의의가 크다. 먼저 12개의 최신 오디오 LLM(예: Qwen‑2‑Audio‑7B, UltraVox‑v0, GLM‑4‑Voice‑9B 등)을 동일한 자연어 문장 오디오에 입력하고, 각 층의 은닉 상태를 토큰 시퀀스 길이에 맞춰 선형 보간으로 EEG와 시간 정렬한다. 이렇게 얻은 토큰‑레벨 EEG와 모델 표현을 기반으로 8가지 유사도 지표를 적용한다. RSA 계열(피어슨, 스피어만, 켄달 τb)은 두 모달리티 간의 순위·거리 구조를 비교하고, dCor, RV, MI, CKA‑Linear, CKA‑RBF는 선형·비선형 의존성을 포착한다. 각 지표는 서로 다른 통계적 특성을 가지므로, 결과가 지표마다 크게 달라지는 ‘랭크 의존 분할’ 현상이 관찰된다. 이는 모델의 특정 층이 기하학적 유사도에서는 높은 점수를 받지만, 비선형 의존도에서는 낮은 점수를 받을 수 있음을 의미한다.

시간 해석에서는 EEG를 250‑500 ms 구간으로 슬라이딩 윈도우 분석했으며, 이 구간이 전통적인 N400 효과와 일치함을 확인한다. 특히 중간 깊이(대략 6‑9층)에서 RSA 점수가 최고에 달하고, CKA‑RBF와 같은 비선형 지표는 더 깊은 층(10‑12층)에서 피크를 보인다. 이는 모델이 초기 층에서 저수준 음향 정보를, 중간 층에서 의미적 통합을, 최상위 층에서 고차원 언어적 추론을 수행한다는 가설을 뇌파와 연계해 뒷받침한다.

정서·운율 분석에서는 eGeMAPS 기반의 억양 및 감정 특성을 추출해 ‘긍정·부정·중립’ 세 그룹으로 문장을 분류하고, 제안한 Tri‑modal Neighborhood Consistency(TNC) 지표를 도입했다. TNC는 음향‑EEG, EEG‑모델, 음향‑모델 간의 삼중 RSA 상관을 평균해, 세 모달리티가 동시에 일관된 구조를 가질 때만 높은 값을 부여한다. 결과는 부정 억양이 스피어만 RSA와 같은 순위 기반 지표에서는 점수를 낮추지만, dCor·RV·CKA와 같은 공분산·비선형 의존도 지표에서는 오히려 점수를 상승시킨다. 이는 부정 억양이 뇌와 모델 사이의 관계를 단순히 스케일링하는 것이 아니라, 시간적 이웃 구조를 재구성한다는 의미로, 정서가 청취 과정에서 신경·모델 정렬 메커니즘에 미치는 복합적 영향을 시사한다.

통계적 검증은 시간‑셔플 퍼뮤테이션 테스트를 통해 각 지표의 유의성을 확보했으며, 다중 비교 보정을 위해 FDR을 적용했다. 전체적으로, 이 연구는 (1) 다중 지표를 활용한 모델‑뇌 정렬 평가 프레임워크, (2) 깊이·시간·정서에 따른 정렬 패턴의 차별적 특성, (3) 새로운 TNC 메트릭을 통한 삼중 모달 일관성 검증이라는 세 가지 핵심 기여를 제공한다.