스케일 의존적 의미 역학과 앨런 편차

초록

이 논문은 문장을 임베딩한 뒤 누적 변위 신호로 변환하여 앨런 편차를 적용함으로써 텍스트의 의미 변화가 시간(문장) 규모에 따라 어떻게 달라지는지를 정량화한다. 짧은 구간에서는 전형적인 백색 잡음과 유사한 파워‑러프 스케일링을 보이며, 창작 문학은 이 스케일링 지수가 -0.4에 가깝고 기술·학술 텍스트는 -0.25 정도로 완만하다. 긴 구간에서는 ‘컨텍스트 호라이즌’이라 부르는 노이즈 플로어가 나타나 의미 변동이 더 이상 감소하지 않는다. 인간이 쓴 텍스트는 이 호라이즌이 크게 나타나는 반면, 대형 언어 모델이 생성한 텍스트는 훨씬 빠르게 플로어에 도달한다는 점을 밝혀, 인간 사고와 현재 모델의 차이를 물리적 지표로 제시한다.

상세 분석

본 연구는 의미 진행을 고차원 상태공간상의 확률적 궤적으로 모델링하고, 문장 임베딩을 이용해 연속적인 의미 변위를 정의한 뒤 누적 변위(semantic phase)를 1차원 신호로 만든다. 이 신호에 대해 정밀 계측 분야에서 개발된 앨런 편차(Allan deviation)를 적용함으로써 시간(문장) 규모 τ에 따른 변동성을 정량화한다. 앨런 편차는 τ에 대한 평균값 차이의 분산을 측정하므로, 짧은 τ에서는 순간적인 의미 변동을, 긴 τ에서는 장기적인 의미 드리프트를 구분할 수 있다.

실험에서는 다양한 장르(소설, 드라마, 서사시, 단편소설 등 창작 문학과 물리·수학·생물·화학·백과 등 기술·학술 텍스트)를 대상으로 동일한 임베딩 모델(all‑MiniLM‑L6‑v2)과 여러 대체 모델을 사용해 분석하였다. 결과는 두 가지 주요 스케일링 영역을 보여준다. 첫 번째는 짧은 구간(문장 수가 전체 길이의 약 5 % 이하)에서의 파워‑러프 행동으로, 앨런 편차가 σ(τ) ∝ τ^α 형태를 따른다. 여기서 α≈‑0.5는 완전 무상관 백색 잡음(메모리리스 랜덤 워크)을 의미하고, 실제 텍스트는 α가 –0.4 ~ –0.25 사이에 분포한다. 창작 문학은 α가 –0.4에 가깝게 나타나 의미 변동이 거의 독립적이며, 작가가 자유롭게 의미 공간을 탐색함을 시사한다. 반면 기술·학술 텍스트는 α가 –0.25 정도로 완만해, 인접 문장 간 의미가 강하게 상관관계를 갖고 있어 내용의 일관성과 정확성을 유지하려는 특성이 반영된다.

두 번째는 긴 구간에서의 전이 현상이다. 일정 τ를 초과하면 앨런 편차 곡선이 평탄해지며, 이는 ‘노이즈 플로어’가 형성돼 추가 평균화가 변동성을 감소시키지 못함을 의미한다. 저자들은 이 전이점을 ‘컨텍스트 호라이즌(context horizon)’이라 정의하고, 단순히 단위 스케일링 기울기가 15 % 이상 변할 때의 τ값을 측정한다. 장르별로 호라이즌 위치는 크게 차이나는데, 창작 소설은 전체 길이의 5 % 이상에서도 전이가 관찰되지 않아 거의 스케일‑인베리언트한 의미 구조를 유지한다. 반면 백과사전, 과학 교재 등은 전체 길이의 3 ~ 6 % 정도에서 빠르게 플로어에 도달한다. 이는 기술 텍스트가 제한된 의미 영역 내에서 빠르게 수렴한다는 물리적 해석을 가능하게 한다.

또한 인간이 쓴 텍스트와 최신 대형 언어 모델(Claude 3 Opus, GPT‑4 Turbo, Llama‑3 70B 등)로 생성된 텍스트를 동일한 프롬프트 하에 비교하였다. 짧은 구간에서는 두 집단 모두 비슷한 α(≈‑0.38 ~ ‑0.41)를 보이며, 모델이 인간 수준의 문장‑대‑문장 의미 변동을 성공적으로 모방함을 확인한다. 그러나 긴 구간에서 모델 텍스트는 인간보다 훨씬 작은 τ(문장 수 13 ~ 26)에서 컨텍스트 호라이즌에 도달한다. 이는 현재 생성 모델이 과거 의미에 과도히 의존하고, 새로운 의미 공간을 탐색하는 능력이 제한적임을 물리적 지표로 제시한다.

방법론적 강점은 임베딩 차원이나 모델 종류에 크게 의존하지 않는다는 점이다. 누적 의미 변위를 1차원 신호로 압축함으로써 고차원 임베딩 자체의 복잡성을 회피하고, 앨런 편차가 제공하는 스케일‑별 변동성 측정이 의미 진행의 물리적 특성을 직접 드러낸다. 또한 무작위 문장 순서 재배열 실험을 통해 관찰된 스케일링 차이가 순서 의존적임을 입증, 의미 흐름 자체가 동역학적 현상임을 뒷받침한다.

이 연구는 의미 역학을 물리학적 측정 도구와 연결함으로써, 텍스트 장르 구분, 인간·기계 인지 차이, 그리고 향후 언어 모델 설계에 있어 ‘의미 안정성’이라는 새로운 평가 기준을 제공한다.