블랙박스 언어모델의 토큰 중요도 시각화 기술

초록

블랙박스 대형 언어모델(LLM)의 출력이 각 입력 토큰에 어떻게 의존하는지 분석하는 새로운 방법인 DBSA를 제안한다. 이 방법은 모델 내부에 접근하지 않고도 토큰 수준의 민감도를 평가하고 시각화하여, 법률, 의료 등 고위험 분야에서 LLM의 신뢰성을 실용적으로 감사할 수 있는 도구를 제공한다.

상세 분석

본 논문이 제안하는 DBSA(Distribution-Based Sensitivity Analysis)의 기술적 핵심은 블랙박스 LLM의 확률적 특성과 이산적 토큰 공간이라는 근본적 난제를 우아하게 해결한 데 있다. 기존 그래디언트 기반 해석 방법이 모델 내부 접근을 필요로 하여 API 기반 블랙박스 환경에서는 적용 불가능했다면, DBSA는 순수히 모델의 입출력만을 이용한다. 핵심 아이디어는 “무한소 변화” 대신 임베딩 공간에서의 “최근접 이웃 토큰 교체"를 최소 변화로 정의하고, 이에 따른 출력 분포의 변화를 통계적으로 검정하는 것이다.

주요 기술적 통찰은 세 가지다. 첫째, LLM의 출력은 본질적으로 확률적이므로 단일 출력 비교는 무의미하며, Monte Carlo 샘플링을 통해 추정한 전체 출력 분포를 비교해야 한다. 둘째, 토큰 수준의 변화가 의미적 변화로 이어지는지 평가하기 위해, 원본 출력 간 유사도 분포(P0, null 분포)와 원본-변형 출력 간 유사도 분포(P1, alternative 분포)를 생성한다. 여기서 사용되는 유사도 함수(s)는 의미적 유사성을 반영해야 한다. 셋째, 이 두 분포 간의 통계적 거리(예: 효과 크기)를 계산하여 해당 토큰의 중요도(민감도)를 정량화한다. 이 방법론은 모델에 대한 분포적 가정을 필요로 하지 않으며, 복잡한 벤치마크 설정 없이도 빠른 탐색적 분석을 가능하게 하는 ‘경량’ 플러그인 도구로 설계되었다. 이는 높은 이론적 타당성과 실용성을 동시에 확보한 접근법이라 평가할 수 있다.