비차별 트랜스포머와 감성 분석 혁신

초록

본 논문은 기존 차별 트랜스포머(DT)의 뺄셈 기반 주의 메커니즘을 대체할 새로운 비차별 트랜스포머(NDT)를 제안한다. NDT는 여러 개의 독립적인 주의 컴포넌트를 양의 가중치만으로 가산하여 결합함으로써 각 컴포넌트가 감성의 서로 다른 개념 채널에 특화되도록 설계하였다. 다양한 제약 조건 하에서 λ 가중치를 학습하고, IMDB, SST‑2, Yelp, Twitter Financial News 등 네 개의 벤치마크 데이터셋에서 표준 트랜스포머와 DT보다 일관된 성능 향상을 보였다.

상세 분석

NDT의 핵심 아이디어는 ‘Concept‑Multiplexing(ConPlex)’이라는 이론적 프레임워크에 기반한다. ConPlex는 텍스트 내에서 감성을 구성하는 여러 개념—예를 들어 어휘적 감성 지표, 문맥적 수식어, 구문 구조, 도메인 특화 패턴—을 각각 별도의 주의 맵이 담당하도록 설계한다. 기존 DT는 두 개의 주의 맵을 뺄셈(softmax(A₀)‑λ·softmax(A₁))함으로써 공통 노이즈를 제거한다는 가정에 의존한다. 그러나 NDT는 이 가정을 ‘노이즈 취소’가 아니라 ‘정보 채널의 상호 보완적 결합’으로 전환한다. 구체적으로 N개의 주의 컴포넌트 i에 대해
Attention = Σ_{i=0}^{N‑1} λ_i·softmax(Q_i K_iᵀ /√d)·V
를 사용한다. 여기서 λ₀은 고정 1이며, 나머지 λ_i는 학습 가능한 스칼라 가중치이며, 양의 값만 허용하거나,