비트동일 의료 딥러닝을 위한 구조적 직교 초기화

본 논문은 의료 분야 딥러닝 모델의 재현성 문제를 근본적으로 해결하기 위해 ‘비트‑동일’ 학습 프레임워크를 제안한다. 기존 딥러닝 훈련은 가중치 초기화, 배치 순서, GPU 연산이라는 세 가지 비결정성 요인에 의해 시드마다 다른 모델을 만든다. 특히 의료 데이터에서는 희귀 클래스에 대한 AUC 변동이 20 pp 이상으로 크게 나타나, 임상 적용 시 환자 수준의 오류가 발생할 위험이 있다. 1) **구조적 직교 초기화** 저자들은 DCT‑I, Hadamard, Hartley, Sinusoidal 등 네 가지 직교 기저 함수를 사용해 가중치를 분석적으로 생성한다. 각 Conv1d 레이어에 대해 입력 채널·커널 차원을 펼친 뒤, 기저 행렬을 직접 계산해 필터를 채운다. 이 과정은 무작위 샘플링을 전혀 사용하지 않으며, 모든 레이어가 거의 완전한 직교성을 유지한다. 직교 초기화는 신호 전파 시 Jacobian의 스펙트럼이 1에 가깝게 유지돼 깊은 네트워크에서도 그래디언트 소실·폭발을 방지한다. 또한, Fixup residual scaling(α=0.01)을 적용해 잔차 블록이 항등에 가까운 변환을 수행하도록 하여 학습 초기에 안정성을 확보한다. 2) **배치 순서 결정론화** 배치 순서는 일반적으로 데이터 로더가 매 epoch마다 무작위 셔플을 수행하면서 변한다. 논문에서는 황금비(φ≈1.618)를 이용한 deterministic shuffling 알고리즘을 도입한다. 이 알고리즘은 시드 없이도 매 실행마다 동일한 배치 순서를 보장한다. 실험에서는 배치 순서에 의한 표준편차가 0.005 수준으로 거의 사라짐을 확인했다. 3) **GPU 연산 비결정성 제거** GPU 연산에서 발생하는 비결정성은 atomic 연산 등 병렬 처리 특성에서 비롯된다. 저자들은 Conformer 아키텍처를 선택해 모든 연산을 deterministic CUDA 구현으로 교체하고, stride 변환 시 adaptive average pooling을 커스텀 autograd 함수로 구현해 비결정적 원자 연산을 완전히 배제한다. 결과적으로 동일한 하드웨어·소프트웨어 환경에서 MD5 해시가 일치하는 비트‑동일 모델을 얻었다. **실험 설정 및 결과** - **ECG 리듬 분류 (PTB‑XL)**: Conformer(1.83M 파라미터)과 Baseline CNN(1.65M 파라미터) 두 아키텍처에 대해 n=20개의 시드로 실험. 구조적 초기화가 Kaiming보다 유의미하게 높은 AUC를 기록(p=0.016, p<0.001). 희귀 리듬(TRIGU, SV ARR 등)에서 AUC 변동폭이 Kaiming의 30.9pp에서 4.1pp로 7.5배 감소. 전체 매크로 AUC 변동도 2–3배 감소. - **기저 함수 비교**: DCT, Hadamard, Hartley, Sinusoidal 네 가지 기저를 각각 n=20으로 테스트. Friedman 검정(p=0.48)으로 성능 차이가 없으며, 직교 초기화 자체가 핵심임을 입증. - **MedMNIST 벤치마크**: 7개의 2D 의료 이미지 데이터셋(ChestMNIST, RetinaMNIST 등)에서 n=20 조건 하에 구조적 초기화가 기존 랜덤 초기화와 동등하거나 약간 우수한 결과. 특히 클래스 불균형이 심한 데이터에서 희귀 클래스 AUC 변동이 크게 감소. - **외부 ECG 데이터셋**: 3개의 독립적인 ECG 데이터베이스에 대해 zero‑shot 평가. AFIB AUC가 0.93 이상으로, 학습된 가중치가 다른 도메인에서도 일반화 가능함을 확인. **규제 및 실용적 의미** FDA의 AI/ML Software as a Medical Device Action Plan 및 EU AI Act은 AI 모델의 추적 가능성과 검증 가능성을 강조한다. 비트‑동일 학습은 모델 가중치 자체가 검증 가능하고, 동일한 입력에 대해 동일한 출력을 보장하므로 규제 요구사항을 자연스럽게 충족한다. 기존 재현성 연구가 시드 고정에 머물렀다면, 본 연구는 시드 자체를 의미 없게 만들어 완전한 결정론적 파이프라인을 제공한다. **한계와 향후 연구** - 현재는 동일 하드웨어·CUDA 버전에서만 비트‑동일성을 보장한다. 다른 GPU 아키텍처나 FP16/AMP 환경에서는 추가적인 deterministic 구현이 필요하다. - 구조적 초기화가 매우 깊은 네트워크(>100층)에서 어떻게 동작하는지, 혹은 Transformer 기반 대규모 모델에 적용할 때의 효율성을 추가로 검증해야 한다. - 임상 현장에서 실제 환자 데이터에 적용했을 때, 모델이 “왜” 특정 환자를 오분류했는지에 대한 설명 가능성(Explainability)과 결합하는 연구가 필요하다. **결론** 본 논문은 가중치 초기화, 배치 순서, GPU 연산이라는 세 가지 비결정성을 동시에 제거함으로써 의료 딥러닝 모델을 비트‑동일하게 학습시키는 완전한 결정론적 프레임워크를 제시한다. 구조적 직교 초기화는 성능 저하 없이 변동성을 크게 감소시키며, 다양한 1D·2D 의료 데이터와 외부 테스트셋에서도 일반화 능력을 유지한다. 이러한 접근은 의료 AI의 신뢰성, 규제 준수, 임상 적용 가능성을 크게 향상시킬 것으로 기대된다.