생성형 AI 설명가능성을 위한 gSMILE 프레임워크

초록

gSMILE은 텍스트 입력을 통제된 방식으로 교란하고 Wasserstein 거리와 가중 서브시어 모델을 활용해 대형 언어 모델과 이미지 편집 모델의 출력에 대한 토큰·단어 수준 기여도를 시각화한다. 안정성·충실도·정확도·일관성·신뢰성을 정량화한 새로운 평가 지표를 제시하며, 다양한 시나리오와 ODD 기반 환경에서 모델 행동을 체계적으로 분석한다. 실험 결과, gSMILE은 인간 직관에 부합하는 견고한 설명을 제공하고 최신 생성 모델 전반에 일반화 가능함을 입증한다.

상세 분석

본 논문은 기존 LIME·SMILE 접근법을 확장해 생성형 AI, 특히 대형 언어 모델(LLM)과 텍스트 기반 이미지 편집 모델에 적용 가능한 gSMILE(framework)을 제안한다. 핵심 아이디어는 입력 프롬프트를 다수의 작은 변형(perturbation)으로 샘플링하고, 각 변형에 대한 모델 출력 분포 변화를 Wasserstein 거리로 정량화한 뒤, 가우시안 커널 기반 가중치를 부여해 로컬 서브시어 모델을 학습하는 것이다.

1. 텍스트 교란 메커니즘: 논문은 토큰 삽입·삭제·대체·순서 변환 등 4가지 기본 연산을 조합해 30~60개의 교란 프롬프트를 생성한다. 각 교란은 원본 프롬프트와의 의미적 거리를 통계적 거리(Wasserstein)로 측정해 가중치에 반영한다. 이는 LIME의 유클리드 거리 기반 샘플링보다 의미 보존성을 높이며, 특히 고차원 텍스트 임베딩에서 유리하다.

2. 가중 서브시어 모델: 가중된 교란 샘플을 입력으로, 출력 분포(예: 토큰 확률, 이미지 특징 벡터)의 변화를 목표 변수로 설정한다. 선형 회귀 혹은 라소 회귀를 사용해 각 토큰·단어의 기여도를 추정한다. 논문은 이 서브시어가 Lipschitz 연속성을 만족한다는 이론적 근거를 제시하고, 실제 실험에서 선형 모델이 비선형 블랙박스 모델의 로컬 근사에 충분히 정확함을 보인다.

3. 평가 지표 설계: 기존 설명가능성 연구에서 흔히 사용되는 단일 지표(예: fidelity) 대신, 안정성(stability), 충실도(fidelity), 정확도(accuracy), 일관성(consistency), 신뢰성(faithfulness) 5가지 메트릭을 동시에 측정한다.

   • Stability: 동일 프롬프트에 대한 교란 반복 시 기여도 변화량을 Jaccard Index로 평가.
   • Fidelity: 서브시어와 원본 모델 출력 간 상관관계(ATT‑F1, ATT‑AUC 등) 측정.
   • Accuracy: 인간 라벨링된 ‘ground‑truth’ 토큰 중요도와의 AUROC 비교.
   • Consistency: 서로 다른 모델(GPT‑3.5, LLaMA‑3.1, Claude‑3.5) 간 동일 프롬프트에 대한 기여도 일치도 분석.
   • Faithfulness: 입력‑출력 연관성을 직접 측정해 설명이 실제 모델 행동을 반영하는 정도 검증.

4. LLM 적용 사례: gSMILE은 “What is the meaning of life?”와 같은 철학적 질문부터 성별 편향을 탐지하는 프롬프트까지 다양한 텍스트에 대해 토큰‑레벨 히트맵을 생성한다. 결과는 기존 Anthropic Attribution Graph와 비교했을 때 더 미세한 토큰 차이를 포착하고, 인간 평가자들이 직관적으로 이해하기 쉬운 색상 강도로 시각화한다. 또한, 동일 질문에 대해 모델별 편향 차이를 정량화해 정책·규제 차원에서 활용 가능성을 제시한다.

5. 이미지 편집 모델 적용 사례: Instruct‑Pix2Pix와 Img2Img‑Turbo에 대해 “transform the weather to make it snowing” 같은 명령어를 교란시킨 뒤, 각 단어(예: “snowing”, “weather”)가 이미지 픽셀·특징에 미치는 영향을 heatmap으로 나타낸다. 실험은 단어 삽입·삭제가 이미지 결과에 미치는 영향을 정량화하고, 모델이 특정 키워드에 과도하게 의존하는 현상을 드러낸다. 이는 사용자 인터페이스 설계 시 위험 요소를 사전에 식별하는 데 유용하다.

6. 시나리오 기반 ODD 평가: 논문은 Operational Design Domain(ODD) 프레임워크를 차용해 ‘semantic complexity’, ‘environmental variability’, ‘prompt length’ 등 3차원 시나리오를 정의하고, 각 시나리오에서 gSMILE의 메트릭을 측정한다. 결과는 모델이 복잡한 상황에서도 비교적 일관된 설명을 제공하지만, 프롬프트 길이가 급증할 경우 안정성이 감소하는 경향을 보인다. 이는 향후 고차원 프롬프트 처리 기법 개선 필요성을 시사한다.

7. 성능 및 효율성: 60개의 교란을 사용한 경우 평균 실행 시간은 LLM에 대해 2.3초, 이미지 모델에 대해 3.1초로, 기존 LIME 기반 방법보다 30%~45% 빠르다. 이는 가중 샘플링과 선형 서브시어가 계산 비용을 크게 절감함을 의미한다.

8. 한계와 향후 과제: 현재 gSMILE은 텍스트 교란에만 초점을 맞추어 이미지·음성 등 비텍스트 입력에 대한 직접 교란은 다루지 않는다. 또한, 서브시어가 선형에 국한돼 복잡한 비선형 상호작용을 완전히 포착하지 못한다는 점을 인정한다. 향후 비선형 서브시어(예: 신경망 기반)와 멀티모달 교란 전략을 결합해 설명의 풍부함을 높이는 연구가 필요하다.

전반적으로 gSMILE은 생성형 AI의 블랙박스 특성을 해소하기 위한 실용적이고 이론적으로 탄탄한 도구이며, 다양한 도메인·모델에 적용 가능한 범용 프레임워크로 자리매김한다.