대규모 신경인과 발견을 위한 CauScale

초록

CauScale는 데이터 임베딩을 압축하고 축별 가중치를 공유하는 두 흐름 구조를 통해 1000노드 규모의 인과 그래프를 빠르게 추론하는 신경망 모델이다. 시간·메모리 효율성을 크게 개선하면서도 인‑배포 데이터에서 99.6 % mAP, OOD 데이터에서 84.4 % mAP를 달성한다.

상세 분석

CauScale는 기존의 Amortized 인과 발견 모델이 샘플 수와 변수 수가 증가함에 따라 메모리와 연산량이 급증하는 문제를 해결하기 위해 세 가지 핵심 설계를 도입한다. 첫째, Reduction Unit은 관측 샘플 차원을 단계적으로 평균 풀링해 데이터 스트림의 임베딩 길이를 r배 축소한다. 이는 인과 신호가 변수 간 의존성에 집중된다는 가정 하에 정보 손실을 최소화하면서 연산 복잡도를 O(m·n²) → O((m/r)·n²) 수준으로 낮춘다. 둘째, Tied Attention Weights를 활용해 축별(행·열) 어텐션을 공유함으로써 전통적인 O(R·H·C²) 메모리 요구를 O(H·C²)로 감소시킨다. 이 방식은 Rao et al. (2021)의 아이디어를 그대로 적용했으며, 특히 데이터 스트림에서 m≫n인 경우 메모리 절감 효과가 극대화된다. 셋째, Two‑Stream Architecture는 데이터 스트림과 그래프 스트림을 별도로 유지하면서 Data‑2‑Graph 블록을 통해 데이터 스트림의 관계 증거를 그래프 스트림에 주입한다. 구체적으로, 데이터 스트림의 축 어텐션 후 평균 풀링된 노드 임베딩 u와 v를 내적해 n×n 관계 행렬 ω를 생성하고, 이를 기존 그래프 임베딩과 concat 후 선형 변환해 그래프 임베딩을 업데이트한다. 이 과정은 관계 정보를 손실 없이 그래프 스트림에 전달하면서도, 그래프 스트림 자체의 통계적 사전(역공분산 행렬 ρ)과 결합해 구조적 신호를 강화한다.

학습 단계에서는 500노드 그래프까지 확장 가능하며, 이는 기존 AVICI가 메모리 부족으로 200노드 정도에서 멈추는 것과 대조된다. 실험 결과, CauScale는 다양한 합성 및 단일세포 전사체 데이터셋에서 인‑배포(mAP 99.6 %)와 OOD(mAP 84.4 %) 모두에서 최고 성능을 기록했으며, 추론 속도는 기존 방법 대비 4배에서 13,000배까지 가속화했다. 또한, 사이클 제약을 강제하지 않는 분해형 예측 헤드를 사용해 실제 데이터에 존재할 수 있는 순환 구조를 자연스럽게 포착한다. 전체적으로 CauScale는 시간·공간 효율성을 크게 개선하면서도 인과 구조 학습 정확도를 유지하거나 향상시키는 설계적 트레이드오프를 성공적으로 달성하였다.