블랙박스 과학 이론 전 생애 주기 XAI 프레임워크

초록

본 논문은 고정된 블랙박스 모델에 대한 설명 정보를 생애 주기 전체에 걸쳐 지속·감사 가능한 형태로 통합하는 “과학 이론 of a Black‑Box”(SToBB) 개념을 제안한다. 구성주의 경험주의(Constructive Empiricism)를 이론적 토대로 삼아, 관측 적합성, 적응성, 감사성을 핵심 의무로 정의하고, 이를 구현하기 위한 관측 베이스, 가설 클래스, 온라인 서베이 알고리즘(CoBoT) 등을 설계한다. 실험에서는 표형 데이터에 대한 신경망 분류기를 대상으로 규칙 기반 서브게이트를 지속적으로 업데이트하며, 이해관계자 질의에 대한 일관된 설명을 제공한다.

상세 분석

이 논문은 기존 XAI 연구가 개별 질문‑별 알고리즘에 머무르는 한계를 지적하고, 설명 정보를 “정적 산출물”이 아니라 “진화하는 기록”으로 다루어야 한다는 철학적·실천적 근거를 제시한다. 핵심 이론적 기반은 반프라센(Van Fraassen)의 구성주의 경험주의이며, 여기서 ‘관측 적합성(empirical adequacy)’은 서브게이트가 모든 관측된 입력‑출력 쌍을 정확히 재현해야 함을 의미한다. 이 적합성은 이진적 기준으로 설정돼, 새로운 관측이 추가될 때마다 자동으로 위배 여부를 판단하고, 위배가 발견되면 즉시 ‘업데이트 커밋먼트’를 실행한다.

프레임워크는 네 가지 구성 요소로 나뉜다. 첫째, 관측 베이스는 입력, 예측, 보조 메트릭 등 모든 관측 가능한 현상을 구조화하고 품질을 보증한다. 둘째, 가설 클래스는 해석 가능한 서브게이트(예: 규칙 기반, 결정 트리)로, 구조적 제약을 통해 인간이 이해하기 쉬운 형태를 유지한다. 셋째, 구성·수정 알고리즘은 CoBoT(Constructive Box Theoriser)으로, 온라인 학습 방식을 채택해 새 관측이 들어올 때마다 규칙 집합을 확장·수정한다. CoBoT은 (a) 현재 서브게이트와 블랙박스 사이의 불일치를 탐지, (b) 불일치를 최소화하는 규칙을 탐색, (c) 기존 규칙과의 충돌을 해결하기 위해 우선순위와 설명 가능성을 고려한다. 넷째, 감사 문서화는 가정, 설계 선택, 업데이트 정책 등을 메타데이터 형태로 기록해 제3자 검증을 가능하게 한다.

실증 부분에서는 Abalone 데이터셋을 이용한 신경망 분류기를 대상으로 전체 SToBB를 구축한다. 초기 관측(학습 데이터)으로부터 CoBoT은 85% 정확도의 규칙 집합을 만든 뒤, 배포 후 실시간 스트리밍 데이터가 추가될 때마다 규칙을 재조정한다. 결과적으로 서브게이트는 전체 관측에 대해 99.2% 일치율을 달성했으며, 이해관계자(개발자, 운영자, 감사인)의 다양한 질의—전역 특성 중요도, 개별 샘플 대비 대안 설명, 집단 간 공정성 검증—에 대해 동일한 기록을 조회함으로써 일관된 답변을 제공했다.

이 접근법은 기존 XAI 방법이 겪는 ‘불일치 문제’를 근본적으로 해소한다. 서브게이트가 관측 적합성을 유지하는 한, 어떤 설명 기법을 적용하더라도 결과는 동일한 이론적 기반 위에 놓이게 된다. 또한, 업데이트 정책이 명시적으로 정의돼 있기 때문에, 새로운 데이터가 들어와도 시스템이 자동으로 적합성을 회복한다는 점에서 ‘적응성’이 확보된다. 마지막으로, 모든 설계·수정 과정이 문서화돼 감사인이 독립적으로 검증할 수 있으므로, 규제 요구사항(예: EU AI Act, NIST AIRM) 충족에도 유리하다.

하지만 논문은 몇 가지 제한점을 인정한다. 첫째, 블랙박스가 고정된다고 가정했기 때문에, 모델 재학습·버전 교체 시 SToBB의 연속성 확보 방안이 미비하다. 둘째, 서브게이트를 규칙 기반으로 제한함으로써 고차원 비선형 관계를 완전히 포착하지 못할 가능성이 있다. 셋째, 관측 베이스가 충분히 풍부하지 않을 경우 ‘관측 적합성’ 자체가 약화될 위험이 있다. 향후 연구에서는 동적 모델 버전 관리, 하이브리드 서브게이트(규칙+선형/신경망) 설계, 그리고 관측 설계 최적화 등을 탐색할 필요가 있다.

전반적으로 이 논문은 XAI를 과학 이론의 형식에 맞춰 재구성함으로써, 설명 가능성을 단순한 시각화가 아니라 지속 가능한 지식 자산으로 전환한다는 점에서 학술적·실무적 의의를 크게 갖는다.