인과관계 발견—데이터에서 인과 구조를 추론하는 문제는 과학적 탐구에 핵심적이지만, 실험적인 개입 없이는 증명상 명확하지 않다. 관찰 데이터만으로는 DAG의 Markov 동등 클래스를 최대한 식별할 수 있으며, 잠재 변수의 존재는 식별 가능성에 복잡성을 더한다. 이를 해결하기 위해 최근에는 외부 지식 자원을 활용하려는 관심이 증가하고 있다. 특히 대규모 언어 모델(LLM)은 사전 훈련 코퍼스에서 상당한 인과 관계 지식을 갖추고 있다.

그러나 현재의 LLM 기반 인과 발견 접근법들은 여전히 근본적으로 경험적인 방법에 그친다. 이전 연구인 Democritus은 LLM 출력 결과를 “부드러운 사전”으로 취급하고 후 처리 가중치를 통해 통합하는데, 원칙적인 해결책을 제공하지 못한다:

1. 일관성: 변수의 부분 집합에 대한 LLM의 지역적 믿음이 전역적으로 일관된 인과 구조로 결합되는 방법은 어떻게 보장할 수 있는가?
2. 모순: LLM이 겹치는 변수 부분 집합에 대해 상반되는 정보를 제공할 때 어떻게 대응해야 하는가?
3. 잠재 변수: 숨겨진 혼란 요인을 고려하면서 전역 인과 모델을 관찰된 부분 집합으로 투영하는 방법은?

본 논문에서는 Holograph (Holistic Optimization of Latent Observations via Gradient-based Restriction Alignment for Presheaf Harmony)를 제안하며, 이를 세포 이론을 통해 이러한 문제들을 해결한다. 우리의 핵심 통찰은 변수의 거듭 집합 위에서의 지역적 인과 믿음을 부분으로 정식화하는 것이다. 완전한 세포 구조(특히 국소성)는 비국소 잠재 연결 때문에 실패하지만, 항등성, 전이성, 접합 공리가 수치적 정밀도($`< 10^{-6}`$)에서 성립함을 보여준다. 이를 통해 일관된 믿음 집약이 가능하다.

기여

1. 세포 이론적 프레임워크: LLM 기반 인과 발견을 부분 만족 문제로 정식화한다. 지역 부분은 선형 SEMs이고 제한 맵은 대수 잠재 투영을 구현한다.
2. 자연 경사 하강법 최적화: 신뢰성 있는 수치 안정성을 위해 Tikhonov 정규화를 사용하는 자연 경사 하강법 알고리즘을 도출했다.
3. 활성 쿼리 선택: 에피스템과 도구적 가치를 균형 있게 고려하며 가장 유용한 LLM 쿼리를 선정하기 위해 예상 자유 에너지를 사용한다.
4. 이론 분석: 항등성, 전이성, 접합 공리는 수치적으로 정밀하게 성립함을 확인하고, 비국소 잠재 연결로 인해 발생하는 국소성 위반을 체계적으로 식별한다.
5. 실증적 검증: 합성 데이터(ER, SF)와 실제 데이터(Sachs, Asia)에 대한 종합 실험으로 극도의 저데이터 환경($`N \le 10`$)에서 NOTEARS 대비 F1 지표가 +91% 향상되었음을 보여준다. LLM 사전 정보를 사용하여 통계적 방법을 정규화할 때는 +13.6% F1 향상을 이루었다.
6. 구현 검증: 모든 15개 핵심 공식이 구현에 수치적으로 일치함을 완벽하게 검증했다(부록 6.6).

주요 발견 1: 국소성 실패는 발견이다.

우리의 세포 정확도 실험(제4장 섹션 4.5)은 놀라운 결과를 보여준다: 항등성($`\rho_{UU} = \text{id}`$), 전이성($`\rho_{ZU} = \rho_{ZV} \circ \rho_{VU}`$), 그리고 접합 공리는 오차 $`< 10^{-6}`$ 내에서 성립하지만, 국소성 공리는 체계적으로 실패한다. 이는 잠재 혼란 요인을 통해 비국소 정보 전파가 발생함을 보여주는 발견이다. 실패는 인과 모델의 “비세포성”을 정량적으로 측정하며, 이는 언제 잠재 변수 모델링이 필요한지 가이드할 진단 지표가 될 수 있다.

주요 발견 2: 표본 효율 및 하이브리드 시너지.

우리의 표본 효율 실험(제4장 섹션 4.3)은 LLM 기반 발견을 사용할 때 명확한 결정 경계를 설정한다:

• 저데이터 환경 ($`N < 20`$): Holograph의 제로샷 접근 방식이 의미론적으로 풍부한 도메인에서 F1 = 0.67을 달성하고, $`N=5`$ 표본만 있는 경우 NOTEARS보다 최대 +91% 상대 F1 지표를 보여준다.
• 하이브리드 시너지: 일부 데이터가 존재할 때 ($`N = 10`$–$`50`$), Holograph 사전 정보를 사용하여 NOTEARS를 정규화하면 희소 관측치에 대한 과적합을 방지하고 +13.6% F1 지표 향상을 이루었다.
• 의미론적 우위: 성능은 LLM 도메인 지식에 크게 의존한다. Asia(역학적 변수 이름이 직관적인 역학)에서는 Holograph가 F1 = 0.67을 달성하지만, Sachs(특정 단백질 신호 전달)에서는 F1 = 0.20에 그친다.

관련 연구

연속 최적화를 통한 인과 발견.

NOTEARS는 DAG 학습을 위한 연속적인 최적화에서 주도권을 잡았으며, 방향성 제약 $`h(\mathbf{W}) = \mathop{\mathrm{tr}}(e^{\mathbf{W}\circ \mathbf{W}}) - n`$을 통한 접근법을 개척했다. GOLEM은 가능도 기반 평가를, DAGMA는 로그 행렬식 특성을 사용한다. Holograph은 이러한 기초 위에 세포 이론적 일관성으로 추가한다.

LLM 기반 인과 발견.

최근 연구에서는 LLM을 인과 지식 소스로 탐구하고 있다. LLMs는 인과 추론 작업에서 벤치마크되며, 활성 쿼리 전략이 제안된다. Democritus은 LLM 믿음을 부드러운 사전으로 사용하지만 일관성을 원칙적으로 다루지 않는다. 출현하는 “인과 기반 모델”들은 인과 관계를 LLM 훈련에 내재화하려 하지만 대부분의 접근법이 인과적 암송꾼처럼 지식을 무비판적으로 재구성한다. 우리의 세포 이론적 프레임워크는 이러한 격차를 메우며, 전시 조건을 통해 형식적인 일관성 확인을 제공하여 LLM 믿음의 모순을 체계적으로 탐지할 수 있다.

활성 학습을 통한 인과 발견.

활성 개입 선택은 광범위하게 연구되었다. 베이지안 네트워크에 대한 활성 학습을 적용한다. 우리의 EFE 기반 쿼리 선택은 이러한 아이디어를 LLM 쿼리 환경으로 확장하고, 지식적 불확실성을 도구적 가치와 균형 있게 고려한다.

잠재 변수 모델.

FCI 알고리즘은 잠재 혼란 요인을 조상 그래프를 통해 다룬다. 최근 연구는 ADMGs가 우리의 인과 상태에 대한 그래픽적 의미론을 제공하고 있다. Holograph의 대수 잠재 투영은 잠재 변수 마진화를 위한 연속적인 완화 방식을 제공한다.

기계 학습에서 세포 이론.

세포 신경망은 GNN에 세포 이론을 적용한다. 이들은 이질적 데이터를 위한 세포 라플라시안을 연구한다. 우리의 지식으로는 Holograph이 인과 발견에 대한 첫 번째 세포 이론적 접근이며, 전시 조건을 통해 믿음의 일관성을 제공한다.

방법론

Holograph의 기술적 기초를 제시하며 수학적 프레임워크에서 최적화 알고리즘까지 진행한다.

인과 모델의 부분집합

$`\mathcal{V} = \{X_1, \ldots, X_n\}`$을 무작위 변수 집합이라 하자. 우리는 거듭집합 $`2^{\mathcal{V}}`$(포함 관계로 순서화) 위의 부분집합 $`\mathcal{F}`$를 정의하며, 이는 선형 구조 방정식 모델(SEMs)을 섹션으로 갖는다.

이 쌍 $`(\mathbf{W}, \mathbf{M})`$은 방향성 엣지가 인과 효과를 나타내고, 양방향 엣지($`\mathbf{M}`$에 포함)는 잠재 혼란 요인을 나타내는 방향성 혼합 그래프(ADMG)를 대응한다.

확률 모델 및 의미론적 에너지

경사 기반 최적화를 가능하게 하기 위해 LLM 텍스트 관찰 $`y`$에 대한 인과 매개변수 $`\theta = (\mathbf{W}, \mathbf{L})`$의 확률 모델을 정의한다.

\begin{equation}
P(y | \theta) = \frac{1}{Z(\theta)} \exp\left( -\beta \, \mathcal{E}_{\text{sem}}(\theta, y) \right)
\label{eq:gibbs}
\end{equation}

\begin{equation}
\mathcal{E}_{\text{sem}}(\theta, y) = \| \phi(y) - \Psi(\mathbf{W}, \mathbf{M}) \|^2_{\mathcal{H}}
\label{eq:semantic-energy}
\end{equation}

이 표현은 다음과 같은 기초를 제공한다:

1. 손실 함수: 음의 로그 우도가 $`\mathcal{L}_{\text{sem}} = \beta \, \mathcal{E}_{\text{sem}} + \log Z`$, 여기서 최적화 중에 $`Z`$는 상수로 근사한다.
2. 피셔 정보 행렬: 이 Gibbs 측도로부터 자연스럽게 발생하는 메트릭 텐서 $`\mathbf{G}(\theta)`$(제3장 섹션 3.7).

대수 잠재 투영

핵심 기술적 기여는 큰 컨텍스트 $`U`$에서 작은 컨텍스트 $`V \subset U`$로 인과 상태를 투영하는 제한 모피즘 $`\rho_{UV}`$이다. 숨겨진 변수가 $`H = U \setminus V`$에 존재할 때 행렬을 단순히 잘라내는 것은 불가능하다; 숨겨진 효과가 인과 구조를 통해 어떻게 전파되는지 고려해야 한다.

\begin{equation}
\mathbf{W}= \begin{pmatrix} \mathbf{W}_{OO} & \mathbf{W}_{OH} \\ \mathbf{W}_{HO} & \mathbf{W}_{HH} \end{pmatrix}, \quad
\mathbf{M}= \begin{pmatrix} \mathbf{M}_{OO} & \mathbf{M}_{OH} \\ \mathbf{M}_{HO} & \mathbf{M}_{HH} \end{pmatrix}
\end{equation}

\begin{equation}
\mathbf{A} = \mathbf{W}_{OH}(\mathbf{I} - \mathbf{W}_{HH})^{-1}
\label{eq:absorption}
\end{equation}

\begin{align}
\widetilde{\mathbf{W}}&= \mathbf{W}_{OO} + \mathbf{A} \mathbf{W}_{HO} \label{eq:w-proj} \\
\widetilde{\mathbf{M}}&= \mathbf{M}_{OO} + \mathbf{A} \mathbf{M}_{HH} \mathbf{A}^\top + \mathbf{M}_{OH} \mathbf{A}^\top + \mathbf{A} \mathbf{M}_{HO} \label{eq:m-proj}
\end{align}

흡수 행렬 $`\mathbf{A}`$는 관찰된 변수에서 숨겨진 변수로의 효과가 숨겨진 하위 그래프를 통해 “바운드 백”되는 방식을 포착한다. 조건 $`\rho(\mathbf{W}_{HH}) < 1`$(스펙트럼 반경 $`< 1`$)는 뉴만 급수 $`(I - \mathbf{W}_{HH})^{-1} = \sum_{k=0}^\infty \mathbf{W}_{HH}^k`$ 가 수렴하도록 보장하며, 이는 숨겨진 변수들 간의 방향성 부재를 나타낸다.

Frobenius 하강 조건

부분집합이 일관성을 유지하기 위해 겹치는 컨텍스트에서의 섹션이 교차점을 기준으로 동일해야 한다. 컨텍스트 $`U_i, U_j`$와 그 교차점 $`V_{ij} = U_i \cap U_j`$에 대해 Frobenius 하강 손실은 다음과 같다:

\begin{equation}
\mathcal{L}_{\text{descent}} = \sum_{i,j} \left( \left\|\rho_{V_{ij}}(\theta_i) - \rho_{V_{ij}}(\theta_j)\right\|_F^2 \right)
\label{eq:descent-loss}
\end{equation}

여기서 $`\left\|\cdot\right\|_F`$는 Frobenius 노름을 나타낸다. 이 손실은 지역 믿음을 그 겹치는 부분에 투영할 때 일관성 불일치를 벌한다.

스펙트럼 정규화

대수 잠재 투영(제3장 섹션 3.3)은 뉴만 급수를 통해 $`(\mathbf{I} - \mathbf{W}_{HH})^{-1}`$을 계산해야 한다:

\begin{equation}
(\mathbf{I} - \mathbf{W}_{HH})^{-1} = \sum_{k=0}^{\infty} \mathbf{W}_{HH}^k
\label{eq:neumann-series}
\end{equation}

이 급수는 스펙트럼 반경 $`\rho(\mathbf{W}_{HH}) < 1`$일 때만 수렴한다. 최적화 중에 이 조건을 강제하기 위해 스펙트럼 벌점을 부과한다.

\begin{equation}
\mathcal{L}_{\text{spec}}(\mathbf{W}) = \max(0, \rho(\mathbf{W}) - 1 + \delta)^2
\label{eq:spectral-exact}
\end{equation}

감사의 말씀