인과관계 기반 시각 모델 설명: 원인·결과를 밝히는 카운터팩추얼 접근

본 논문은 이미지 분류기의 예측을 인간이 이해할 수 있는 수준으로 설명하기 위해, 관찰 데이터에만 의존하는 기존 해석 방법의 한계를 지적하고 인과 모델을 기반으로 한 새로운 설명 프레임워크를 제안한다. 서론에서는 머신러닝 해석성의 두 축인 투명성(transparency)과 사후 설명(post‑hoc) 중 사후 설명에 초점을 맞추며, 특히 “특징 변화가 예측에 미치는 효과를 귀속시키는” 문제를 다룬다. 기존의 saliency map이나 픽셀 마스킹은 입력 픽셀 수준에서 중요도를 평가하지만, 변수 간 인과적 의존성을 무시해 실제 원인 효과를 정확히 추정하지 못한다는 점을 강조한다. 관련 연구에서는 픽셀 마스킹, 인페인팅, 최소 변형을 통한 카운터팩추얼 생성 등 다양한 대조적 기법을 소개한다. 특히, Denton et al.의 단일 잠재 변수 변형, TCA‑V, Causal‑GAN 등은 잠재 공간에서 변화를 주지만 인과적 연쇄 효과를 고려하지 않는다. 이러한 배경을 바탕으로 저자는 인과 이론(Pearl)의 구조적 인과 모델(SCM)과 do‑연산, 카운터팩추얼 개념을 이미지 도메인에 적용한다. 핵심 제안은 “Distributional Causal Graph”(DCG)이다. DCG는 각 잠재 요인을 노드로 하는 DAG를 구성하고, 각 노드의 조건부 확률분포를 MLP가 추정하도록 설계한다. 부모 노드와 외생 노이즈를 입력으로 받아 해당 변수의 파라미터(예: 베르누이 확률, 카테고리 분포)를 출력한다. 이렇게 하면 전체 잠재 변수의 결합 확률을 체인 규칙으로 분해해 로그우도를 정확히 계산할 수 있다. 개입(do‑연산)은 특정 노드의 함수 f_i 를 고정값으로 교체하고, 외생 노이즈 분포를 관측값에 조건화함으로써 새로운 SCM을 만든다. 이 개입된 모델에서 샘플링된 잠재 변수들은 “카운터팩추얼”이라 부르며, 원본 이미지와 동일한 배경 맥락을 유지하면서 개입된 요인만 변형된 형태가 된다. 다음으로 저자는 이러한 DCG와 결합된 “Counterfactual Image Generator”(CIG)를 설계한다. CIG는 개입된 잠재 요인을 입력받아 실제 이미지 공간에 변환한다. 현재의 Conditional GAN, Fader Networks, AttGAN 등은 관찰 분포에서만 샘플링하거나, 목표 클래스 변화를 위한 최소 변형을 찾는 수준에 머물러 있어 인과적 개입 효과를 반영하지 못한다. 따라서 CIG는 (1) 잠재 요인의 정확한 개입, (2) 개입에 따른 연쇄적 효과를 반영한 이미지 생성, (3) 생성 이미지의 로그우도 평가를 동시에 만족해야 한다고 제시한다. 제안된 프레임워크를 이용하면, 특정 잠재 요인(예: 수염, 메이크업 등)의 개입이 분류 결과에 미치는 평균 효과를 정량화할 수 있다. 이를 통해 모델이 특정 요인에 얼마나 의존하는지, 혹은 편향·불공정성이 존재하는지를 탐지할 수 있다. 또한, 카운터팩추얼 이미지들을 다수 생성해 평균 효과를 추정함으로써, 개별 샘플에 대한 설명뿐 아니라 전체 데이터셋 수준의 인과적 인사이트를 제공한다. 마지막으로 논문은 현재 이미지 생성 모델들의 한계를 상세히 분석한다. 특히, 조건부 생성 모델이 개입된 잠재 요인과 그에 따른 파생 요인 간의 인과적 관계를 학습하지 못한다는 점, 그리고 생성된 이미지의 확률밀도(log‑likelihood)를 평가하기 어려워 개입 효과의 정량적 측정이 불가능하다는 점을 지적한다. 이를 보완하기 위한 미래 연구 방향으로, 인과적 제어 신호를 포함한 생성 모델 설계와, 고차원 잠재 공간에서의 정확한 로그우도 추정 방법을 제안한다. 전반적으로 이 연구는 인과적 사고를 시각 모델 해석에 체계적으로 도입함으로써, 기존 해석 기법이 제공하지 못한 “왜”와 “어떻게”를 동시에 제공한다는 점에서 중요한 기여를 한다.