노이즈에 강인한 개념 병목 모델: 취약 개념 탐지와 샤프니스 기반 완화 전략

초록

본 논문은 개념 병목 모델(CBM) 학습 시 발생하는 라벨 노이즈가 예측 정확도, 해석 가능성, 개념 개입 효과에 미치는 영향을 체계적으로 분석하고, 노이즈에 취약한 개념 집합을 규명한다. 훈련 단계에서는 Sharpness‑Aware Minimization(SAM)으로 노이즈 민감 개념을 안정화하고, 추론 단계에서는 예측 엔트로피를 이용해 불확실도가 높은 개념을 우선 교정함으로써 성능 회복을 달성한다. 이론적 근거와 광범위한 실험을 통해 제안 방법의 유효성을 입증한다.

상세 분석

본 연구는 개념 병목 모델(CBM)이 인간이 이해 가능한 중간 개념을 예측하고 이를 기반으로 최종 결정을 내리는 구조적 특성 때문에, 학습 시 사용되는 개념 라벨의 품질에 극도로 민감하다는 점을 강조한다. 저자들은 CUB와 AwA2 두 대규모 데이터셋에 대해 개념 라벨을 독립적으로 일정 확률(γ)만큼 뒤집는 방식으로 노이즈를 주입하고, 노이즈 비율을 0%부터 40%까지 단계적으로 증가시켜 모델의 세 가지 핵심 지표—예측 정확도, 개념 정밀도(Concept Alignment Score, CAS), 그리고 개념 개입 효과—를 측정하였다. 실험 결과, 10% 수준의 노이즈만으로도 CUB에서는 정확도가 16.6% 감소하고, 30%에서는 51%까지 급락한다는 충격적인 사실을 발견했다. 특히, 개념 노이즈만을 적용했을 때와 전체(개념+타깃) 노이즈를 적용했을 때의 성능 저하가 거의 동일함을 통해, 타깃 라벨의 오류보다 개념 라벨의 오류가 모델 성능에 더 큰 영향을 미친다는 결론을 도출했다.

노이즈가 모든 개념에 균등하게 영향을 미치지는 않는다. 개념별 정확도 변화를 분석한 결과, 전체 개념 중 약 23%가 평균보다 훨씬 큰 정확도 감소를 보이며, 이를 ‘취약 개념 집합(Susceptible Set)’이라 정의한다. 이 집합에 속한 개념들은 의미적 모호성이나 낮은 출현 빈도 등으로 인해 학습 신호 대비 잡음 비율이 높아지는 경향이 있다. 저자들은 KDE 기반 빈도 분포 분석을 통해, 노이즈가 증가할수록 원래의 불균형적 빈도 구조가 평탄화되어 희귀 개념의 학습이 더욱 어려워짐을 시각화하였다. 이러한 취약 개념이 전체 모델 성능 저하의 주된 원인이라는 점은, 개념 수준에서의 오류가 최종 타깃 예측에 비선형적으로 전파된다는 중요한 메커니즘을 시사한다.

완화 전략으로 제안된 두 단계는 각각 학습 안정성과 추론 시 교정 효율성을 목표로 한다. 첫 번째 단계에서는 Sharpness‑Aware Minimization(SAM)을 적용해 손실 곡면의 평탄도를 높이고, 파라미터 업데이트 시 주변 손실 변동에 대한 민감도를 최소화한다. 이 과정은 특히 노이즈에 취약한 개념들의 가중치를 과도하게 조정하는 현상을 억제해, 해당 개념들의 학습이 보다 견고해지도록 만든다. 두 번째 단계에서는 추론 시 실제 라벨이 없으므로, 각 개념의 예측 엔트로피를 계산해 불확실도가 높은 순으로 개념을 선택하고, 인간 혹은 외부 시스템이 해당 개념을 교정하도록 설계하였다. 엔트로피 기반 선택은 취약 개념이 일반적으로 높은 불확실성을 보인다는 실증적 관찰에 기반한다.

이론적 분석에서는 SAM이 손실 함수의 라플라시안(Laplacian) 스펙트럼을 감소시켜, 노이즈가 존재할 때도 로컬 최소점이 넓게 유지되도록 함을 보였다. 또한, 엔트로피가 높은 개념이 모델의 예측 분포에서 가장 큰 변동성을 나타내므로, 이를 우선 교정하면 전체 타깃 손실을 최소화할 수 있음을 베이즈적 관점에서 정량화하였다. 실험적 검증에서는 SAM 적용 후 취약 개념의 정확도 감소폭이 평균 30%에서 12% 수준으로 크게 완화되었으며, 엔트로피 기반 개입은 40% 노이즈 상황에서도 전체 정확도를 70% 이상 회복시키는 효과를 보였다. 기존 Random, UCP, CCTP와 같은 개입 전략과 비교했을 때, 제안 방법은 동일한 개입 횟수 하에서 더 높은 정확도 향상을 달성하였다.

전체적으로 본 논문은 개념 병목 모델이 라벨 노이즈에 취약함을 정량화하고, 취약 개념을 식별·보호하는 두 단계 프레임워크를 제시함으로써, 해석 가능성과 견고성을 동시에 확보할 수 있음을 입증한다. 이는 의료 영상, 자율 주행 등 고신뢰성이 요구되는 분야에서 인간‑AI 협업을 구현하는 데 중요한 설계 원칙을 제공한다.