인과적 신뢰성을 갖춘 개념 병목 모델: C²BM의 설계와 자동 학습 파이프라인

초록

본 논문은 기존 개념 병목 모델(CBM)의 인과적 한계를 극복하기 위해, 개념들을 실제 인과 구조에 맞춰 정렬한 Causally reliable Concept Bottleneck Models(C²BM)을 제안한다. 데이터와 비정형 배경지식(예: 과학 논문)을 결합해 자동으로 개념 집합과 인과 그래프를 학습하는 파이프라인을 구축하고, 하이퍼네트워크를 이용해 각 개념의 구조 방정식을 동적으로 파라미터화한다. 실험 결과, C²BM은 정확도를 유지하면서 인과 일관성, 개입 효율성, 편향 완화, 공정성 제어 측면에서 기존 DNN·CBM보다 우수함을 보인다.

상세 분석

본 연구는 개념 기반 모델이 “통계적 연관성만을 학습한다”는 근본적인 문제를 인과적 신뢰성(causal reliability)이라는 관점에서 재조명한다. 저자들은 인과적 신뢰성을 “모델의 의사결정 구조가 실제 현상의 인과 메커니즘과 일치하는 정도”로 정의하고, 이를 달성하기 위해 두 가지 핵심 요소를 설계한다. 첫째, 개념을 단순히 입력‑출력 사이의 중간 변수로 보는 기존 CBM의 bipartite 구조를 폐기하고, 개념들 간의 인과 관계를 명시적으로 표현하는 DAG(Directed Acyclic Graph)를 도입한다. 둘째, 이러한 DAG 위에 구조적 인과 모델(SCM)을 구현하되, 각 구조 방정식의 파라미터를 입력 데이터에 따라 동적으로 생성하는 하이퍼네트워크를 사용한다. 이렇게 하면 비선형 관계를 선형 형태(가중합)로 표현하면서도, 하이퍼네트워크가 상황에 맞게 가중치를 조정해 실제 복잡한 비선형성을 근사한다는 이중 장점을 얻는다.

자동화 파이프라인은 크게 세 단계로 구성된다. (1) 개념 발견 및 라벨링에서는 대규모 언어 모델(LLM)과 Retrieval‑Augmented Generation(RAG)을 활용해 주어진 배경지식(K)에서 작업에 관련된 개념을 추출하고, CLIP 기반 비전‑언어 모델을 이용해 이미지·텍스트 데이터에 자동 라벨을 부착한다. (2) 인과 그래프 발견에서는 관측 데이터만으로는 방향성을 완전히 결정할 수 없는 CPDAG를 GES 알고리즘으로 추정한 뒤, 각 무방향(edge)마다 LLM‑RAG 질의를 10회 반복해 가장 빈번한 방향을 선택함으로써 스퓨리어스한 인과를 배제한다. (3) 구조 방정식 학습에서는 추정된 DAG와 라벨링된 개념 데이터를 이용해 하이퍼네트워크를 학습한다. 구조 방정식은 선형 가중합 형태이지만, 하이퍼네트워크가 입력‑조건부로 가중치를 생성하므로 비선형 관계도 충분히 표현 가능하다. 저자들은 또한 이 설계가 보편 근사성(universal approximation) 을 만족한다는 수학적 증명을 부록에 제공한다.

실험에서는 의료(폐암), 이미지(객체 인식) 등 여러 도메인에서 기존 DNN, 표준 CBM, 확장된 CBM(예: SCBM, Concept Graph Model)과 비교하였다. 주요 평가지표는 (i) 인과 일관성(실제 인과 그래프와의 구조적 유사도), (ii) 개입 효율성(소수의 개념 조작만으로 목표 변수 정확도 향상), (iii) 스퓨리어스 상관관계에 대한 견고성(분포 이동 시 성능 저하 정도), (iv) 공정성(민감한 속성에 대한 편향 감소)이다. C²BM은 모든 지표에서 기존 방법을 앞섰으며, 특히 개입 시 적은 수의 개념만 수정해도 목표 변수의 예측이 크게 개선되는 점이 두드러졌다. 이는 인과 그래프가 실제 메커니즘을 반영함으로써 “원인 → 결과” 흐름을 정확히 모델링했기 때문이다. 또한, 배경지식과 관측 데이터를 결합한 자동 그래프 구축 과정이 인간 전문가 의존도를 크게 낮추어 실용성을 높였다.

전체적으로 이 논문은 (1) 개념 기반 모델에 인과적 구조를 도입해 설명 가능성을 넘어 인과적 신뢰성을 제공하고, (2) LLM·RAG 기반의 자동화 파이프라인으로 실무 적용 장벽을 낮추며, (3) 하이퍼네트워크를 통한 동적 구조 방정식 파라미터화로 선형·비선형 혼합 표현을 가능하게 하는 세 가지 혁신을 제시한다. 향후 연구는 보다 복잡한 비선형 SCM, 지속적 학습 환경에서의 인과 그래프 업데이트, 그리고 도메인‑특화 LLM의 정밀도 향상이 기대된다.