뇌 MRI를 위한 파라미터 효율적 연속 학습: LoRA 기반 동결 파운데이션 모델

초록

본 논문은 대규모 3D 의료 영상 파운데이션 모델을 동결한 채, 저랭크 어댑터(LoRA)를 이용해 종양 분할과 뇌 연령 추정 두 과업을 순차적으로 학습하는 방법을 제안한다. 각 과업마다 별도 LoRA와 헤드를 학습함으로써 파라미터는 전체의 0.1% 미만만 업데이트되고, 이전 과업에 대한 성능 저하(BWT)가 전혀 발생하지 않는다. 실험 결과, 연속 학습 상황에서 LoRA는 세그멘테이션 Dice 0.60, 연령 MAE 0.012를 달성하며, 기존 전이 학습 방식에 비해 균형 잡힌 성능과 무망각을 제공한다.

상세 분석

이 연구는 의료 영상 분야에서 최근 각광받는 파운데이션 모델을 실제 임상 워크플로에 적용하기 위한 실용적 접근법을 제시한다. 핵심 아이디어는 사전 학습된 3D UNet(FOMO 스타일) 백본을 완전히 동결하고, 각 신규 과업마다 저랭크 매트릭스(LoRA)를 삽입해 파라미터를 최소화하는 것이다. LoRA는 1×1×1 3D 컨볼루션 형태로 구현돼 메모리 효율성을 확보하면서도 채널 차원에서 충분한 표현력을 제공한다. 논문에서는 두 개의 이질적인 과업, 즉 다중 채널을 이용한 종양 세그멘테이션(BraTS)과 단일 채널 기반 뇌 연령 회귀(IXI)를 선택해 연속 학습 시나리오를 구성하였다.

연속 학습 과정은 ‘어댑터 격리’ 전략을 따르며, 새로운 과업을 학습할 때 기존 LoRA와 백본을 전부 고정한다. 따라서 파라미터 업데이트가 현재 과업에만 국한돼 역전파가 이전 과업에 영향을 미치지 않는다. 이 설계는 이론적으로 BWT=0을 보장하며, 실험에서도 완전한 무망각을 확인했다.

성능 면에서는 전통적인 순차적 전체 파인튜닝(FT)이 초기에는 높은 Dice(0.80)와 낮은 MAE(0.005)를 기록했지만, 두 번째 과업 학습 후 첫 번째 과업의 Dice가 0.16으로 급락하는 전형적인 망각 현상을 보였다. 반면 순차적 선형 프로빙(헤드만 학습)은 세그멘테이션에서는 높은 Dice(0.79)를 유지했지만, 연령 추정에서는 MAE가 1.45로 크게 악화되었다. LoRA 기반 방법은 두 과업 모두에서 균형 잡힌 성능을 달성했으며, 특히 연령 MAE 0.012는 연속 학습 방법 중 최저 수준이었다.

또한 어댑터 위치에 대한 탐색 실험에서, 인코더와 디코더 모두에 LoRA를 적용한 경우 세그멘테이션 Dice가 0.50으로 크게 향상됐으며, 인코더만 적용했을 때는 0.19에 그쳤다. 이는 디코더 레이어가 세그멘테이션 세부 구조 복원에 중요한 역할을 함을 시사한다. 샷 수에 따른 민감도 분석에서는 16샷에서는 Dice 0.45, MAE 0.33으로 저성능이었지만, 32샷으로 증가했을 때 Dice 0.62, MAE 0.16으로 크게 개선되었다. 이는 LoRA가 제한된 라벨 데이터에서도 충분히 학습 가능하지만, 최소한 수십 개의 샷은 필요함을 보여준다.

한계점으로는 세그멘테이션 성능이 완전 파인튜닝(0.80)이나 선형 프로빙(0.79)에 비해 낮다는 점이다. 이는 LoRA의 저랭크 표현 용량이 복잡한 구조적 정보를 완전히 포착하기엔 부족할 수 있음을 의미한다. 또한 뇌 연령 추정에서 체계적인 언더에스티메이션이 관찰됐으며, 이는 IXI 데이터의 결측 연령을 50세로 대체한 전처리와 제한된 샷 수가 원인일 가능성이 있다.

전반적으로 이 논문은 파라미터 효율성과 무망각을 동시에 달성할 수 있는 연속 학습 프레임워크를 제시함으로써, 의료 현장에서 새로운 분석 과업을 빠르게 추가하고 기존 모델을 재학습 없이 유지하려는 요구에 부합한다. 향후 LoRA의 랭크 확대, 멀티태스크 어댑터 공유, 그리고 보다 정교한 데이터 증강 기법을 결합한다면 성능 격차를 줄이고 더욱 다양한 임상 과업에 적용할 수 있을 것으로 기대된다.