소규모 코호트 데이터를 위한 경량형 트랜스포머 설계와 통계적 검증

본 논문은 “소규모 longitudinal 코호트 데이터에 트랜스포머를 적용하기 위한 통계적 관점”이라는 주제로, 기존 트랜스포머가 대규모 데이터에 의존하는 한계를 극복하고자 경량형 모델인 MiniTransformer를 설계하고, 이를 통계적 검정과 결합한 새로운 분석 파이프라인을 제시한다. 1. **연구 배경 및 필요성** - 장기 코호트 데이터는 여러 변수의 시간적 상호작용을 포함하지만, 표본 수가 적고 관측 시점도 제한적인 경우가 많다. - 전통적인 VAR 모델은 최근 관측에만 가중치를 두어 장기 의존성을 포착하기 어렵고, 기존 트랜스포머는 파라미터 수가 많아 과적합 위험이 크다. - 따라서, 파라미터 효율성을 유지하면서도 비선형·장기 의존성을 모델링할 수 있는 구조가 요구된다. 2. **MiniTransformer 설계** - **입력 표현**: 각 시점 \(t_i\) 의 관측 \(x_{t_i}\in\mathbb{R}^{p+1}\) (특징 \(p\) + 상수항) 를 그대로 사용하고, 별도의 임베딩 레이어를 생략한다. 이는 파라미터 절감과 해석 용이성을 동시에 제공한다. - **주의 메커니즘**: 쿼리·키·밸류 파라미터를 각각 \(w^{query}_{(h)}, w^{key}_{(h)}, w^{value}_{(h)}\) 벡터로 두고, 두 관측 간 유사도는 \