CURVE: 불확실성 기반 인과관계 정규화로 강인한 장면 그래프 학습

초록

본 논문은 장면 그래프가 환경에 의존적인 스퓨리어스 관계에 과적합되는 문제를 해결하기 위해, 변분 불확실성 모델링과 프로토타입 기반 인과관계 조정을 결합한 CURVE 프레임워크를 제안한다. 불확실성이 높은 관계를 정규화·제거함으로써 도메인에 안정적인 희소 그래프를 학습하고, 제로샷 전이와 저데이터 시뮬‑투‑리얼 적응 실험에서 OOD 일반화와 위험 예측 신뢰성을 크게 향상시킨다.

상세 분석

CURVE는 두 가지 핵심 아이디어를 통합한다. 첫째, 장면 그래프의 각 관계 임베딩을 가우시안 분포(N(μ,σ))로 표현해 변분 추론을 수행하고, σ를 데이터 의존적 불확실성(aleatoric)으로 해석한다. 이 불확실성은 환경에 민감한 스퓨리어스 상관관계가 높은 경우 크게 나타나며, 이를 “스퓨리어스 지표”로 활용한다. 둘째, 환경 변수 E를 직접 모델링하기 어려운 점을 프로토타입 집합 C={c_k}으로 근사한다. 각 관계 임베딩 z_ij는 프로토타입과의 유사도 P(c_k|z_ij)를 통해 해당 관계가 어느 환경 모드에 속하는지를 추정하고, 이를 가중합 형태로 환경 기대값을 근사한다. 이렇게 얻은 환경 조건부 기대값을 이용해 소프트 백도어 조정을 수행함으로써, 환경에 의존하는 편향(z_s)을 억제하고 불변 인과 요인(z_c)만을 보존한다.

정규화 단계에서는 KL 다이버전스 손실을 통해 σ가 무분별하게 커지는 것을 방지하고, 불확실성이 높은 관계에 대해 가중치가 낮은 그래프 구조를 학습한다. 이후 차별적 프루닝(differentiable pruning) 모듈이 σ와 프로토타입 기반 조정 결과를 결합해, 임계값 이하의 관계를 미분 가능하게 제거한다. 결과적으로 그래프는 물리 법칙에 기반한 희소 토폴로지를 갖게 되며, 이는 도메인 전이 시에도 안정적으로 유지된다.

실험에서는 (1) 시뮬레이션 환경에서 실제 도로 데이터로의 제로샷 전이, (2) 제한된 라벨 수만을 이용한 시뮬‑투‑리얼 적응, (3) OOD 상황에서의 위험 예측 정확도와 캘리브레이션을 평가한다. CURVE는 기존의 고정 토폴로지를 사용하는 PC‑SGG, FloCoDe, HiKER‑SGG 등과 비교해 평균 7~12%의 AP 향상과, ECE(예측 캘리브레이션 오류)에서 30% 이상 감소를 기록한다. 또한, 불확실성 추정이 높은 관계를 성공적으로 프루닝함으로써 그래프의 평균 차수(degree)가 40% 이상 감소했음에도 성능 저하가 없었다.

강점으로는 (i) 불확실성을 스퓨리어스 탐지와 그래프 구조 학습에 동시에 활용한 점, (ii) 프로토타입 기반 백도어 조정으로 연속적인 환경 변수를 효율적으로 근사한 점, (iii) 변분 프레임워크와 차별적 프루닝을 결합해 end‑to‑end 학습이 가능하도록 만든 점을 들 수 있다. 한계는 프로토타입 수 K와 프루닝 임계값 선택이 데이터셋에 민감할 수 있다는 점이며, 복잡한 다중 에이전트 상호작용을 다룰 때 프로토타입이 충분히 표현력을 갖추려면 더 큰 메모리와 학습 비용이 필요할 수 있다. 향후 연구에서는 프로토타입을 메타‑러닝하거나, 동적 환경 변화를 추적하는 시계열 프로토타입을 도입해 더욱 일반화된 인과 그래프를 구축하는 방향이 기대된다.