생물학적 데이터의 부분 대칭을 활용한 변환기 설계: PSEAD 프레임워크

초록

PSEAD는 로컬 퍼뮤테이션 서브그룹의 작용을 이용해 Transformer의 셀프‑어텐션을 불변성(Equivariance) 하에 분해한다. 그룹 표현 이론을 통해 어텐션을 서로 직교하는 불가약 표현(irrep)으로 나누어 대칭·비대칭 특징을 명확히 구분하고, 이를 기반으로 일반화, 해석 가능성, 계산 효율성을 크게 향상시킨다. 또한 강화학습에 적용해 단백질 접힘·약물 설계와 같은 동적 생물학 문제에 대한 정책 학습을 가속화한다.

상세 분석

본 논문은 생물학 데이터가 갖는 “부분적·국소적 대칭”을 수학적으로 정형화하고, 이를 Transformer의 핵심 메커니즘인 셀프‑어텐션에 직접 삽입하는 새로운 이론적·알고리즘적 프레임워크인 PSEAD(Partial Symmetry Enforced Attention Decomposition)를 제시한다. 핵심 아이디어는 입력 윈도우에 대해 유한 퍼뮤테이션 서브그룹 (H\subset S_k)가 작용한다는 가정 하에, 해당 그룹의 선형 표현 (\rho:H\rightarrow GL(\mathbb{R}^k))가 존재함을 이용하는 것이다. 논문은 (\rho)가 그룹 동형사상임을 증명하고, 셀프‑어텐션 연산 (Attn(Q,K,V)=\text{softmax}(QK^\top/\sqrt d),V)이 (\rho)에 대해 (H)-equivariant임을 보인다. 즉, (\rho(h))가 행을 순열하면 어텐션 출력도 동일한 순열로 변환된다.

그 다음, 마슈케 정리와 슈어의 보조정리를 적용해 (\mathbb{R}^k) 공간을 서로 직교하는 불가약 표현(irrep)들의 직접합으로 완전 분해한다. 각 irrep (\lambda)에 대응하는 투영 연산자
\