단일세포 기반 모델 해석성 체계적 평가: 어텐션은 공동발현을 포착하지만 고유 조절 신호는 아니다

초록

본 연구는 37개의 분석과 153개의 통계 검정을 포함한 체계적 평가 프레임워크를 구축하고, 이를 scGPT와 Geneformer에 적용해 어텐션이 초기 층에서는 단백질‑단백질 상호작용, 후기 층에서는 전사조절 정보를 반영하지만, 실제 교란 예측에서는 단순 유전자 수준 베이스라인보다 열등함을 확인하였다. 또한, CSSI라는 새로운 해석 기법을 도입해 GRN 복구 성능을 최대 1.85배 향상시켰다.

상세 분석

이 논문은 단일세포 전사체 데이터를 기반으로 한 대규모 사전학습 모델, 즉 scGPT와 Geneformer의 메커니즘적 해석 가능성을 정량적으로 검증하기 위해 전례 없는 규모의 평가 체계를 설계했다. 총 37개의 서로 다른 분석 파이프라인과 153개의 통계 검정을 포함하며, 네 종류의 세포(주로 K562와 RPE1)와 두 가지 교란(유전자 과발현·노크아웃) 상황을 대상으로 한다. 핵심 평가지표는 (1) 어텐션 매트릭스가 실제 생물학적 네트워크(단백질‑단백질 상호작용, 전사인자‑표적 관계)를 재현하는 정도, (2) 이러한 어텐션 기반 특징이 교란 예측 모델에 기여하는 정도, (3) 어텐션 헤드의 기능적 중요성을 파악하기 위한 인과적 소거 실험이다.

첫 번째 결과는 어텐션이 층별로 구조화된 정보를 담고 있음을 보여준다. 초기 레이어에서는 PPI 네트워크와 높은 상관관계를 보이며, 후기 레이어에서는 전사조절 네트워크와의 일치도가 증가한다. 이는 트랜스포머 구조가 입력 토큰(유전자) 간의 관계를 점진적으로 추상화한다는 기존 가설을 뒷받침한다. 그러나 두 번째 결과에서 이러한 구조적 정보가 실제 예측 성능에 미치는 영향은 미미했다. 교란 예측 AUROC는 단순히 각 유전자의 발현 수준만을 이용한 베이스라인(0.81–0.88)에서 어텐션 스코어나 상관계수 기반 엣지(0.70)보다 현저히 낮았다. 이는 어텐션이 포착하는 공동발현 패턴이 교란에 대한 인과적 원인—즉, 특정 전사인자가 목표 유전자를 직접 조절하는 신호—과는 별개임을 시사한다.

세 번째 실험인 인과적 소거에서는 “조절 헤드”라 명명된 어텐션 헤드를 무작위로 비활성화했지만, 모델의 교란 예측 성능은 통계적으로 유의미한 감소를 보이지 않았다. 이는 해당 헤드가 실제 조절 메커니즘을 학습하고 있지 않으며, 모델이 다른 경로(예: 전체 발현 평균)에 의존하고 있음을 의미한다.

또한, 어텐션 스코어의 스케일링 문제를 발견했다. 특정 셀 상태(예: 세포 주기 단계)에서 어텐션 값이 과도하게 압축되어 중요한 엣지가 사라지는 현상이 있었으며, 이를 해결하기 위해 제안된 Cell‑State Stratified Interpretability (CSSI) 기법을 적용하면 GRN 복구 정확도가 최대 1.85배 향상된다. CSSI는 셀 상태별로 어텐션을 정규화하고, 상태별 가중치를 부여해 스케일링 오류를 보정한다.

전반적으로 이 연구는 “어텐션이 생물학적 의미를 내포한다”는 직관을 검증하면서도, 그 의미가 실제 기능적 조절 신호와는 거리가 있음을 명확히 보여준다. 따라서 향후 단일세포 기반 언어 모델을 해석하려면 어텐션 외에 추가적인 메커니즘(예: 그래프 신경망, 인과적 추론 모듈)과 결합하거나, CSSI와 같은 셀 상태 의존적 보정 방법을 도입해야 할 필요성을 강조한다.