범주론적 언어 모델의 모호성과 불완전 정보: 모나드와 풍부화 접근

초록

**
본 논문은 기존 CPM 구성이 벡터 공간 외의 콤팩트 폐쇄 범주(예: 집합·관계)에서 혼합을 적절히 표현하지 못하는 문제를 지적하고, 다양한 형태의 모호·불완전 정보를 각각에 맞는 모나드로 캡슐화한다. Jacobs의 결과를 이용해 이러한 모나드의 Eilenberg‑Moore 대수를 기반으로 범주를 자유롭게 풍부화함으로써, 덕터 콤팩트 폐쇄 구조를 유지하면서 실수 볼록 조합을 갖는 관계 모델까지 구축한다. 최종적으로 유한 부분볼록 대수 풍부화가 논의된 모든 효과를 포괄함을 보인다.

**

상세 분석

**
이 논문은 의미론적 분포 모델을 범주론적으로 정형화하려는 시도에서, ‘혼합(mixing)’이라는 개념을 어떻게 구현하느냐가 핵심 과제임을 강조한다. 기존 연구에서는 Selinger의 CPM 구성을 이용해 순수 상태를 혼합 상태로 전이시키는 방법을 제시했으며, 이는 유한 차원 힐베르트 공간(FdHilb)에서 완전 양자 채널을 얻는 데는 성공적이었다. 그러나 동일한 구성을 집합과 이진 관계(Rel) 같은 다른 콤팩트 폐쇄 범주에 적용하면, 스칼라가 {0,1}에 제한되어 있어 확률적 가중치를 표현하지 못한다는 구조적 모순이 드러난다. 예컨대, “은행”과 “강변”이라는 두 의미를 90%와 10% 확률로 혼합하고 싶어도 Rel에서는 ‘또는’(⊔) 연산만 남아 양적 정보가 소실된다.

이를 해결하기 위해 저자는 ‘정보 효과’를 프로그래밍 언어 이론에서 부수 효과를 모델링하는 모나드와 동일시한다. 구체적으로는 다음과 같은 모나드를 도입한다.

1. Lift 모나드 – ⊥(bottom) 요소를 추가해 ‘알 수 없음’ 혹은 ‘실패’를 표현한다.
2. 유한 파워셋·비공허 파워셋 모나드 – 비결정성을 집합론적으로 포착하며, 비공허 버전은 발산(divergence)을 차단한다.
3. 유한 분포·부분분포 모나드 – 확률적 혼합을 실수 가중치로 모델링하고, 부분분포는 누적 확률이 1보다 작을 수 있게 하여 ‘정보 손실’ 혹은 ‘미지의 확률 질량’을 허용한다.

각 모나드는 모두 **커뮤터티브(monad)**이며, Jacobs가 제시한 결과에 따라 이들의 Eilenberg‑Moore 대수 범주는 대칭 모노이달 폐쇄(SMCC) 구조와 완전·공완전성을 갖는다. 이는 곧 해당 대수 범주 위에서 V‑enriched 범주를 자유롭게 구성할 수 있음을 의미한다. 저자는 이를 이용해 기존의 덕터 콤팩트 폐쇄 범주 C를 다음과 같이 풍부화한다.

• C⊥ : 포인티드 집합(⊥) 풍부화. ⊥를 포함한 사상은 합성 시 ⊥가 전파되며, 텐서와 덕터도 ⊥에 대해 폐쇄된다. 이는 ‘정보가 전혀 없는’ 상황을 모델링한다.
• C_AJSLat, C_JSLat : (비)완전 조인 반격체 풍부화. 사상들의 합집합 연산(∨)이 합성과 텐서에 대해 선형적으로 작용한다. 이는 ‘비정량적 다중 의미’를 표현한다.
• C_Convex, C_Subconvex : 실수 볼록(또는 부분볼록) 조합 풍부화. 사상들을 확률 가중합 ∑ pᵢ fᵢ 로 결합할 수 있으며, 이는 양적 모호성을 정확히 기술한다. 특히, C_Subconvex은 부분분포 모나드에 대응해 스칼라가 0≤s≤1인 실수 집합을 사용함으로써 ‘정보 손실’ 상황을 자연스럽게 포함한다.

핵심 정리는 **“임의의 덕터 콤팩트 폐쇄 범주 C는 위의 모든 모나드에 대해 자유롭게 풍부화될 수 있다”**는 점이다. 이를 통해 저자는 기존 CPM이 제공하지 못했던 관계(Rel) 위의 실수 볼록 조합 모델을 구축한다. 구체적으로, 관계를 실수 가중치가 붙은 이진 관계(예: (a,b)↦0.9)로 확장하고, 이 가중치가 텐서곱과 덕터 연산에 대해 일관되게 전파되도록 설계한다. 결과적으로, “은행(0.9) ∨ 강변(0.1)”과 같은 확률적 의미 혼합을 자연스럽게 표현할 수 있다.

마지막으로 논문은 유한 부분볼록 대수 풍부화가 앞서 논의된 모든 정보 효과(불완전, 비정량적, 양적 모호성)를 포괄한다는 포괄적 정리를 제시한다. 이는 실제 자연어 처리 시스템에서 다양한 형태의 불확실성을 하나의 범주론적 프레임워크 안에 통합할 수 있음을 시사한다. 전체적으로, 모나드‑기반 풍부화가 기존 CPM 접근법의 한계를 극복하고, 보다 일반적인 콤팩트 폐쇄 범주에서 의미론적 혼합을 구현하는 강력한 수단임을 입증한다.

**