시각 피질 응답 예측을 위한 구조 보존 적응 모델 AVM

초록

AVM은 고정된 Vision Transformer 인코더와 조건별 경량 모듈(CAMU)을 결합해 시각 피질(V1) 신경 반응을 예측한다. 자극 변화, 개체 차이, 데이터셋 전이 등 세 가지 상황에서 기존 V1T 대비 약 2% 높은 상관계수와 9.1% 향상된 설명분산(FEVE)을 달성했으며, 파라미터 효율성도 크게 개선하였다.

상세 분석

본 논문은 시각 피질 신경 반응 모델링에서 “구조‑기능 분리”라는 생물학적 원칙을 구현한 Adaptive Visual Model(AVM)을 제안한다. 핵심 아이디어는 시각 특징을 담당하는 Vision Transformer(ViT) 기반 인코더를 완전히 고정(frozen)하고, 조건별(자극 종류, 개체, 실험 환경) 변동을 담당하는 경량 모듈인 Condition‑aware Modulation Unit(CAMU)을 병렬로 삽입하는 것이다. 인코더는 4‑layer ViT(V1T에서 차용)로, 이미지 패치와 행동 변수(동공, 움직임 등)를 결합해 안정적인 시각 표현 f를 생성한다. CAMU는 다운‑업 구조의 작은 피드포워드 네트워크이며, 각 Transformer 블록의 어텐션 출력, MLP 출력, 블록 최종 출력에 각각 적용돼 로컬하게 활성값을 재조정한다. 이렇게 하면 인코더의 구조적 일관성을 유지하면서도 조건에 따라 미세하게 응답을 변형할 수 있다.

AVM은 세 가지 변형을 제공한다. AVM은 블록마다 독립적인 CAMU를 두어 가장 세밀한 적응을 가능하게 하고, AVM‑S는 모든 블록에 동일한 CAMU를 공유해 파라미터를 크게 절감한다. AVM‑B는 블록 간 교차 모듈(Cross‑Task ModPath)을 추가해 고차원 적응을 지원한다. 이러한 설계는 생물학적 시각 시스템이 구조는 보존하고, 컨텍스트·내부 상태에 따라 응답을 조절하는 방식과 일맥상통한다.

학습은 두 단계로 진행된다. 1) 백본 사전학습 단계에서는 전체 ViT와 Gaussian readout을 데이터셋(예: Sensorium) 전체에 대해 학습해 공통 시각 표현을 획득한다. 2) 서브네트워크 적응 단계에서는 백본을 고정하고, 새로운 조건(다른 마우스, 다른 데이터셋 등)에 맞춰 CAMU만을 학습한다. 손실은 포아송 로그우도이며, AdamW 옵티마이저와 조기 종료, 학습률 감쇠를 적용한다.

평가 지표는 단일 시도 상관계수(ρ_trial), 평균 시도 상관계수(ρ_avg), 그리고 Fraction of Explained Variance(FEVE)이다. 두 대규모 마우스 V1 데이터셋(Sensorium, Franke)에서 세 가지 실험 설정(자극 수준 변동, 교차 개체 일반화, 교차 데이터셋 전이)을 수행했다. 결과는 AVM이 모든 상황에서 V1T 대비 약 2% 높은 ρ와, 특히 교차 데이터셋 전이에서 FEVE가 9.1% 향상된 것을 보여준다. 또한 파라미터 수는 V1T의 2.46M 대비 AVM‑S는 0.03M, AVM‑B는 0.11M로 크게 감소했으며, 5가지 랜덤 시드 실험에서도 표준편차 <0.001로 결과의 안정성을 입증했다.

이 연구는 (1) 구조적 안정성을 유지하면서도 조건별 적응을 가능하게 하는 모델링 패러다임을 제시하고, (2) 파라미터 효율성과 해석 가능성을 동시에 달성했으며, (3) 생물학적 시각 시스템의 구조‑기능 분리를 인공 신경망 설계에 성공적으로 도입했다는 점에서 의미가 크다. 다만 현재는 주로 마우스 V1에 국한된 실험이며, 인간 피질이나 다른 감각 영역으로의 확장, 더 복잡한 행동 변수 통합 등에 대한 추가 검증이 필요하다.