단일세포 전사체 마스크 재구성 트랜스포머의 스케일링 법칙 탐구

초록

본 연구는 단일세포 RNA‑시퀀싱 데이터를 이용해 마스크 재구성 트랜스포머의 파라미터 수와 데이터 양에 따른 손실 변화를 체계적으로 조사하였다. 512개의 고변이 유전자와 20만 세포를 사용한 데이터‑풍부 환경에서는 파라미터 수가 5.33×10^2에서 3.4×10^8까지 확대될 때 검증 MSE가 전형적인 거듭제곱 법칙을 따르며 최저 손실 c≈1.44에 수렴함을 확인했다. 반면 1,024개의 유전자와 1만 세포만을 이용한 데이터‑제한 환경에서는 파라미터 확대가 손실 감소에 거의 영향을 주지 않아 데이터가 제한적일 때는 모델 용량이 병목이 아님을 보여준다. 또한 손실 바닥을 정보 이론적 단위로 변환하면 마스크된 유전자 위치당 약 2.30 bits의 엔트로피가 존재한다는 추정치를 얻었다. 연구 결과는 충분한 데이터가 확보될 경우 단일세포 전사체에서도 NLP·비전 분야와 유사한 스케일링 법칙이 적용될 수 있음을 시사한다.

상세 분석

본 논문은 최근 인공지능 분야에서 주목받고 있는 “스케일링 법칙”을 단일세포 전사체 분석에 적용하려는 최초 시도이다. 저자들은 CELLxGENE Census에서 제공하는 방대한 scRNA‑seq 데이터를 두 가지 실험군으로 나누었다. 첫 번째는 512개의 고변이 유전자와 200 000개의 세포를 포함하는 데이터‑풍부(regime‑rich) 조건이며, 두 번째는 1 024개의 유전자와 10 000개의 세포만을 사용한 데이터‑제한(regime‑limited) 조건이다. 두 환경 모두 동일한 마스크 재구성 목표를 갖는 트랜스포머 아키텍처를 적용했으며, 모델 크기는 5.33×10^2 파라미터(소형 MLP‑like)부터 3.4×10^8 파라미터(대형 ViT‑style)까지 7단계로 확장하였다.

검증 손실은 평균 제곱 오차(MSE)로 측정했으며, 각 모델‑크기‑데이터 조합에 대해 5번의 독립 실행을 통해 평균과 표준편차를 구했다. 파라미터 수 N과 손실 L 사이의 관계를 L(N)=a·N^‑b + c 형태의 파라미터화된 스케일링 법칙에 피팅했을 때, 데이터‑풍부 조건에서는 b≈0.31, c≈1.44라는 명확한 거듭제곱 감소와 손실 바닥을 관찰했다. 이는 “데이터‑제한이 없는 경우 모델 용량이 손실 감소를 주도한다”는 기존 NLP·비전 연구와 일치한다.

반면 데이터‑제한 조건에서는 b가 0.03 수준으로 거의 0에 가깝고, c≈2.01로 손실 바닥이 더 높았다. 즉, 데이터 양이 파라미터 수에 비해 현저히 적을 때는 모델이 충분히 학습할 정보를 제공받지 못해 파라미터 확대가 효용을 발휘하지 못한다는 결론이다. 저자들은 이를 “데이터‑대‑파라미터 비율(D/P ratio)”이 스케일링 행동을 결정하는 핵심 변수라고 정의하고, D/P≈6×10^5 이상에서 비선형적인 손실 감소가 시작된다고 제시한다.

또한 손실 바닥 c를 정보 이론적 관점에서 해석하기 위해, 마스크된 유전자 위치당 평균 변동성을 로그 변환하고, 이를 비트 단위로 변환하였다. 결과적으로 c≈1.44 MSE는 약 2.30 bits의 엔트로피에 해당한다는 추정치를 얻었으며, 이는 현재 마스크 비율(15 %)과 유전자 선택 전략에 따라 변동 가능함을 언급한다.

연구의 한계로는(1) 마스크 비율과 마스크 방식(랜덤 vs. 구조적) 변화에 대한 탐색이 부족하고, (2) 단일세포 데이터의 특성상 배치 효과와 기술적 잡음이 손실에 미치는 영향을 정량화하지 않았으며, (3) 현재는 평균 MSE만을 사용했으나, downstream task(클러스터링, 라벨 전이 등)에서의 성능 변화를 추가로 측정해야 한다는 점을 들었다.

결론적으로, 충분한 셀 수와 유전자 변이를 확보한다면 단일세포 전사체에서도 파라미터 수와 데이터 양이 거듭제곱 관계로 손실을 감소시키는 스케일링 법칙이 존재한다는 중요한 증거를 제공한다. 이는 향후 “single‑cell foundation model” 구축 시, 데이터 수집 전략과 모델 설계 사이의 균형을 과학적으로 판단할 근거를 마련한다.