모델 해석성의 신화와 실제

Zachary C. Lipton의 “The Mythos of Model Interpretability”는 현재 머신러닝 분야에서 해석성이라는 용어가 지나치게 포괄적이고 정의되지 않은 채 사용되고 있음을 비판한다. 논문은 먼저 해석성을 요구하는 근본적인 동기를 다섯 가지 주요 desiderata로 정리한다. 첫 번째는 **신뢰**이다. 모델이 실제 배포 환경에서 기대한 성능을 유지하고, 인간이 모델에 의존할 때 발생할 수 있는 위험을 최소화하려는 욕구가 신뢰를 만든다. 여기서 신뢰는 단순히 정확도에 대한 자신감이 아니라, 모델이 어떤 상황에서 오류를 범할지, 인간과 동일한 오류 패턴을 보이는지 등에 대한 정량·정성적 평가를 포함한다. 두 번째는 **인과성**이다. 많은 연구자와 실무자는 모델이 단순히 상관관계를 학습하는 것이 아니라, 데이터 내에 존재하는 인과 구조를 밝혀줄 수 있기를 기대한다. 그러나 논문은 현재의 감독학습 모델이 인과 관계를 직접 추론하도록 설계되지 않았으며, 해석을 통해 가설을 제시하고 실험적으로 검증하는 단계가 필요함을 강조한다. 세 번째는 **전이성(Transferability)**이다. 훈련과 테스트가 동일 분포에서 이루어지는 전통적 설정과 달리, 실제 환경은 비정상적이거나 적대적인 변화에 직면한다. 모델이 새로운 상황에 어떻게 적응하고, 자신의 예측이 환경을 변화시킬 때(예: 의료 triage에서 모델이 치료 방침을 바꾸는 경우) 그 영향을 이해하려면 해석이 필수적이다. 네 번째는 **정보전달(Informativenness)**이다. 모델이 단순히 예측값을 제공하는 것이 아니라, 인간 의사결정자를 위한 추가적인 통찰—예를 들어 유사 사례 제시, 변수 중요도 설명—을 제공할 때 해석이 가치 있다. 이는 모델이 실제로는 비지도 학습에 가까운 목적을 수행할 때도 적용된다. 다섯 번째는 **공정·윤리적 의사결정(Fairness and Ethical Decision‑Making)**이다. 알고리즘이 신용점수, 범죄 재발 위험, 채용 등 사회적 영향을 미치는 분야에 사용될 때, 차별이나 편향을 검증하고 설명할 수 있는 메커니즘이 요구된다. 유럽 연합의 ‘설명 권리’와 같은 규제는 모델이 제공하는 설명이 검증 가능하고, 이의를 제기할 수 있는 구조를 가져야 함을 명시한다. 이러한 desiderata를 바탕으로 논문은 해석성을 두 가지 큰 축으로 구분한다. 첫 번째는 **투명성(Transparency)**이며, 이는 모델 자체가 인간에게 이해 가능한지를 평가한다. 투명성은 다시 세 단계로 나뉜다. (1) **시뮬러빌리티(Simulatability)**: 전체 모델을 인간이 한 번에 시뮬레이션하거나 검토할 수 있는가? (2) **분해 가능성(Decomposability)**: 각 파라미터나 구성 요소가 독립적으로 의미를 갖는가? (3) **알고리즘적 투명성(Algorithmic Transparency)**: 학습 과정이 재현 가능하고, 유일한 해를 제공하는가? 선형 회귀, 로지스틱 회귀, 결정 트리 등은 전통적으로 이 기준을 만족한다고 여겨졌지만, 실제 고차원 데이터와 복잡한 상호작용을 다룰 때는 이러한 가정이 깨질 수 있다. 두 번째 축은 **사후 해석(Post‑hoc Explanations)**이다. 여기서는 모델이 이미 만든 예측을 바탕으로 인간이 이해할 수 있는 설명을 생성한다. 대표적인 방법으로는 LIME, SHAP 같은 로컬 선형 근사, saliency map, 사례 기반 설명 등이 있다. 이러한 기법은 모델 내부 메커니즘을 직접 드러내지는 않지만, 특정 입력에 대한 중요한 특징을 강조하거나, 예측 근거를 직관적으로 제시함으로써 정보전달과 신뢰 구축에 기여한다. 논문은 특히 “선형 모델은 해석 가능하고 딥러닝은 불가능하다”는 일반적인 믿음을 여러 사례와 논리적 분석을 통해 반박한다. 딥러닝 모델도 구조적 제약(예: sparsity, attention)이나 사후 해석 기법을 통해 충분히 의미 있는 설명을 제공할 수 있다. 반대로, 단순 선형 모델이라도 변수 선택이 부적절하거나, 차원 축소가 과도하면 실제로는 해석이 오히려 왜곡될 위험이 있다. 마지막으로 저자는 해석성 연구가 목표‑수단 관계를 명확히 해야 한다고 주장한다. 즉, 어떤 desideratum을 달성하려는지에 따라 적절한 투명성 수준이나 사후 해석 방법을 선택해야 하며, 이를 평가하기 위한 메트릭과 베이스라인이 아직 부족하다는 점을 지적한다. 앞으로의 연구는 (1) 다양한 실세계 목표에 맞는 해석성 정의를 체계화하고, (2) 그 정의에 부합하는 정량적 평가 프레임워크를 구축하며, (3) 규제와 윤리적 요구를 충족시키는 설명 가능성 기준을 제시하는 방향으로 나아가야 한다.