복합 AI 시스템을 위한 통계적 결함 귀속

초록

본 논문은 다중 신경망으로 구성된 복합 AI 파이프라인의 견고성을 평가하기 위해, 메타모픽 테스트와 실행 추적을 결합한 모듈형 프레임워크 SETA를 제안한다. 각 컴포넌트에 대한 오라클‑프리 메타모픽 관계를 정의하고, 변형 입력에 대한 위반 여부를 실행 그래프와 연계해 최초 오류 발생 지점을 자동으로 식별한다. 실제 철도 검사 시스템에 적용해 기존 엔드‑투‑엔드 테스트가 놓치는 내부 결함을 정밀히 드러냈다.

상세 분석

SETA는 복합 AI 시스템의 견고성 분석을 위해 두 축을 핵심 설계 원칙으로 삼는다. 첫 번째는 메타모픽 테스트(MT) 기반의 오라클‑프리 사양이다. 입력 변환 g(x) 에 대해 출력 간 관계 M(x, ĝx) = True 여부를 검증함으로써, 라벨 불변성, L∞‑노름 차이, IoU 임계값 등 다양한 시각·인식 작업에 맞춤형 메타모픽 관계(MR)를 정의한다. 특히 Kronecker δ와 Heaviside H 함수를 이용해 등식·부등식 제약을 수학적으로 통일시켜, 연속적인 값 범위와 이산적 라벨 모두를 포괄한다. 두 번째는 실행 추적(Execution Trace Analysis)이다. 변형 입력이 시스템을 통과할 때 생성되는 동적 실행 그래프를 기록하고, 각 노드(모듈)별 MR 위반 여부를 매핑한다. 이를 통해 “최초 위반 모듈”을 자동으로 식별하고, 위반이 이후 모듈에 어떻게 전파되는지를 정량화한다.

프레임워크는 컴포넌트‑별 Composite Metamorphic Relations(CMR)을 도입한다. 개별 MR들의 논리적 AND 연산을 통해 컴포넌트 수준 점수 S_i 를 산출하고, 시스템 전체 점수 S = ∏_i S_i 로 집계한다. 이 구조는 사용자가 새로운 MR을 플러그인 형태로 추가할 수 있게 하여, 도메인‑특화 요구사항(예: 의료 영상의 민감도)에도 손쉽게 확장 가능하도록 설계되었다.

실험에서는 다중 네트워크로 구성된 자율 철도 검사 파이프라인(이미지 분류 → 물체 검출 → 세그멘테이션)을 대상으로, 다양한 시뮬레이션 날씨·노이즈 변형을 적용했다. 기존 End‑to‑End 테스트는 전체 정확도 감소만을 보고했지만, SETA는 물체 검출 모듈의 IoU 임계값 위반이 세그멘테이션 오류를 유발한다는 인과 경로를 명확히 밝혀냈다. 또한, 특정 변환(예: 가벼운 안개)에서는 분류 모듈은 견고했으나, downstream 모듈에서 누적된 작은 좌표 오차가 최종 결함으로 이어지는 현상을 정량화했다.

SETA의 장점은 (1) 아키텍처·모달리티에 독립적이며, (2) 기존 MLOps 툴(Kedro, MLflow)과 비침해적으로 연동돼 파이프라인 관리와 테스트를 동시에 지원한다는 점이다. 한계로는 변형 입력 생성 비용과, 복잡한 실행 그래프를 실시간으로 분석할 경우 오버헤드가 발생할 수 있다는 점이 있다. 향후 연구에서는 적응형 변형 생성(예: 강화학습 기반)과 경량화된 추적 메커니즘을 도입해 실시간 시스템에 적용하는 방안을 제시한다.