인간 의미 탐색을 임베딩 공간 궤적으로 분석

초록

본 논문은 인간의 개념 생성 과정을 변환기 기반 텍스트 임베딩의 누적 표현으로 매핑하고, 거리·속도·가속도·엔트로피·중심거리 등 물리학적 메트릭을 추출해 임베딩 공간에서의 의미 탐색 궤적을 정량화한다. 네 개의 다언어·다과제 데이터셋에 적용해 임상군 구분 및 개념 유형 차이를 성공적으로 드러냈으며, 누적 임베딩이 긴 시퀀스에 특히 유리함을 보였다.

상세 분석

이 연구는 의미 표현을 정적인 단어 벡터가 아니라, 시간에 따라 누적되는 고차원 공간상의 궤적으로 재구성한다는 점에서 기존 언어학·인지과학 연구와 차별화된다. 구체적으로, 각 참가자가 생성한 단어열을 순차적으로 연결해 “누적 임베딩” xₜ = Encoder(단어₁…단어ₜ) 로 정의하고, 이를 시간 인덱스 t에 따라 점 시퀀스 X = (x₁,…,x_N) 로 만든다. 이렇게 하면 현재 단계의 의미가 이전 단계 전체 맥락에 의존하게 되며, 작업 메모리와 억제 제어와 같은 실행 기능을 자연스럽게 반영한다.

궤적 분석에 사용된 다섯 가지 메트릭은 다음과 같다.

1. Distance to Next: 연속 임베딩 사이의 코사인 거리(= “semantic jump”)를 구해 평균값을 길이‑불변 지표로 활용한다. 큰 값은 의미 전이가 급격함을, 작은 값은 클러스터링(착취) 경향을 의미한다.
2. Entropy: 거리 시계열을 중위값 기준으로 이진화하고, 이진 시퀀스의 샤논 엔트로피를 정규화해 변동성·예측 불가능성을 측정한다. 높은 엔트로피는 탐색 전략이 불안정하거나 인지적 부하가 크다는 가설을 뒷받침한다.
3. Velocity: 임베딩 차이 vₜ = xₜ₊₁ − xₜ 로 정의해 방향·크기를 동시에 제공한다. 이는 단순 거리보다 이동 방향 정보를 보존한다.
4. Acceleration: 연속 속도 차이 aₜ = vₜ₊₁ − vₜ 로 계산해 속도·방향 변화율을 파악한다. 높은 가속도는 “불안정한 착취” 혹은 빈번한 스위칭을 의미한다.
5. Distance to Centroid: 동일 개념·참가자 내에서 모든 고유 속성 임베딩의 평균(중심)과 각 단계 임베딩 사이 코사인 거리를 구한다. 중심으로부터 멀수록 탐색 범위가 넓고, 반대로 가까우면 집중된 탐색을 나타낸다.

실험에서는 OpenAI text‑embedding‑3‑large, Google text‑embedding‑004, Qwen3‑Embedding‑0.6B 등 세 가지 변환기 모델을 사용했으며, fastText 비누적 임베딩을 베이스라인으로 설정했다. 결과는 모델 간 차이가 미미함을 보여, 서로 다른 학습 파이프라인에도 불구하고 임베딩 공간의 기하학적 구조가 일관됨을 시사한다. 또한, ZCA‑화이트닝을 적용해 임베딩의 이방성을 보정했음에도 메트릭의 구분력은 유지되었다.

데이터셋은 (1) 스페인어 파킨슨·전두측두치매·건강군의 속성 나열, (2) 영어 욕설·동물·알파벳 카테고리의 언어 유창성, (3) 이탈리아어 50개 구체 개념에 대한 속성 나열, (4) 독일어 동일 과제이다. 각 데이터는 평균 5~20개의 속성을 생성했으며, 길이 차이에 따라 누적 vs. 비누적 접근법의 성능 차이가 관찰되었다. 긴 시퀀스(예: 파킨슨·FTD 데이터)에서는 누적 임베딩이 평균 거리·엔트로피·가속도 등에서 더 뚜렷한 그룹 차이를 보였고, 짧은 1분 제한 과제에서는 비누적 임베딩이 오히려 안정적인 지표를 제공했다.

임상 적용 측면에서, PD와 bvFTD 환자는 평균 Distance to Next 및 Acceleration이 높아 탐색이 더 산만하고 전환이 빈번함을 나타냈으며, 건강군은 낮은 값으로 보다 일관된 클러스터링을 보였다. 다언어 데이터에서는 동일 메트릭이 언어 간 일관된 패턴을 유지해, 임베딩 기반 의미 탐색이 언어적 편향을 최소화한다는 장점을 강조한다.

한계점으로는 (i) 임베딩이 실제 뇌의 의미 표상과 1:1 대응된다는 가정, (ii) 시간 스탬프가 없으므로 단위 시간 가정이 강제된 점, (iii) 누적 임베딩이 길어질수록 계산 비용이 급증한다는 점을 들 수 있다. 향후 연구에서는 실시간 뇌파·fMRI와 동시 기록을 통해 물리적 시간 축을 도입하고, 효율적인 순환형 인코더 설계로 누적 연산을 최적화할 필요가 있다.