속성 업샘플링은 보간이 아니라 재분배여야 한다

본 논문은 설명 가능한 인공지능(Explainable AI)에서 널리 사용되는 속성(사전) 지도들의 해상도 문제를 다룬다. Grad‑CAM, Integrated Gradients, SHAP 등 다양한 기법이 생성하는 속성 지도는 보통 저해상도(예: 7×7, 14×14) 형태이며, 이를 입력 이미지와 동일한 해상도로 확대해야 실용적인 해석이 가능하다. 기존 연구들은 이 확대 과정을 자연 이미지 복원을 위해 설계된 양선형(bilinear)·양입방(bicubic) 보간에 맡겨 왔지만, 저자는 이러한 접근이 속성 지도에 필수적인 네 가지 특성을 심각하게 위배한다고 지적한다. 첫 번째 위배는 **질량 보존**이다. 속성 지도는 각 이웃 영역(코스 그리드 셀) 내에 할당된 총 중요도(질량)를 보존해야 한다. 양선형·양입방 보간은 커널이 이웃 경계를 넘어 가중치를 적용하기 때문에, 한 영역에 모여 있던 질량이 인접 영역으로 새어 나가게 된다. 이는 “α‑error”(과잉 할당)와 “β‑error”(손실)를 동시에 야기한다. 두 번째 위배는 **세그먼트 단조성**이다. 모델이 제공하는 의미론적 세그먼트 스코어(s)는 해당 영역이 예측에 얼마나 기여하는지를 나타낸다. 보간은 순전히 픽셀 좌표에 기반해 가중치를 계산하므로, 스코어가 높은 영역이라도 낮은 가중치를 받을 수 있다. 이는 중요한 영역이 설명에서 사라지는 현상을 초래한다. 세 번째 위배는 **지역성**이다. 경계에 위치한 픽셀의 보간값은 외부 이웃의 값에 의존한다. 따라서 경계 픽셀은 실제 모델이 할당한 중요도와 무관하게 주변 값에 의해 왜곡된다. 이러한 문제를 해결하기 위해 저자는 **네 가지 충실도 공리(D1~D4)**를 제시한다. - **D1(이웃 완전성)**: 각 이웃 영역 내에서 원래의 총 질량을 그대로 유지한다. - **D2(세그먼트 단조성)**: 동일 이웃 내에서 세그먼트 스코어가 높은 픽셀은 낮은 픽셀보다 높은 중요도를 받아야 한다. - **D3(조건부 강도 일정성)**: 스코어 변동에 대한 가중치 적용 강도가 일정해야 한다(온도 파라미터 ε로 조절). - **D4(지역성)**: 픽셀의 할당값은 해당 이웃 내부 정보에만 의존한다. 수학적 증명을 통해 양선형·양입방 보간이 D1, D2, D4를 위배함을 보이고, 이러한 위배가 존재하면 **재분배 연산자는 반드시 비율 형태(ratio‑form)**이어야 함을 도출한다. 여기서 비율 형태란 각 픽셀에 할당되는 질량이 해당 픽셀의 세그먼트 스코어와 온도 파라미터에 의해 정규화된 비율에 비례한다는 의미이다. 이론적 기반으로 **Luce의 선택 공리(Independence of Irrelevant Alternatives, IIA)**를 적용한다. IIA는 선택 확률이 무관한 대안에 의해 영향을 받지 않아야 함을 요구하는데, 이를 속성 재분배에 적용하면 비율 형태 연산자가 유일하게 충족한다는 결론에 도달한다. 따라서 저자는 다음과 같은 **Universal Semantic‑Aware Upsampling(USU)** 연산자를 정의한다. \