다양한 도메인에서의 모듈형 범용 재파라미터화

초록

본 논문은 서로 다른 아키텍처와 데이터 도메인을 가진 여러 작업을 하나의 프레임워크로 통합한다. 각 (아키텍처, 작업) 쌍을 동일한 크기의 파라미터 블록으로 분해하고, 이 블록들을 “가상 작업(pseudo‑task)”으로 정의한다. 이후 하이퍼모듈이라는 작은 네트워크가 컨텍스트 벡터와 결합해 블록 파라미터를 생성하도록 재파라미터화하고, 효율적인 진화적 탐색 알고리즘으로 블록‑하이퍼모듈 매핑을 최적화한다. 합성 벤치마크와 비전·NLP·유전체 3대 분야 실험에서 모듈 공유가 개별 성능을 향상시키고, 일반성을 가진 모듈이 자동으로 도출됨을 보인다.

상세 분석

이 연구는 기존 딥 멀티태스크 학습(DMTL)이 전제하는 “공통 레이어가 사전에 정의돼 있다”는 가정을 완전히 벗어난다. 저자들은 먼저 모든 모델 파라미터를 동일한 크기(m×n)의 블록 Bℓ 로 분할한다. 이렇게 하면 서로 다른 네트워크 구조라도 동일한 수의 블록으로 표현될 수 있어, 각 블록을 독립적인 가상 작업(pseudo‑task)으로 간주한다. 가상 작업은 (인코더 Eℓ, 디코더 Dℓ, 데이터 집합) 로 정의되며, 이들 모두가 동일한 입력‑출력 형태를 갖는다. 따라서 하나의 함수 f가 여러 가상 작업에 재사용될 수 있다면, 이는 “범용 기능”을 학습한 것으로 해석된다.

범용 기능을 구현하기 위해 저자들은 하이퍼모듈(Hk)이라는 텐서 집합을 도입한다. 각 블록 Bℓ 은 컨텍스트 벡터 zℓ 와 하이퍼모듈 Hk의 1‑모드 곱으로 생성된다: Bℓ = Hk ×₁ zℓ. 여기서 ψ(ℓ)=Hk 는 블록‑하이퍼모듈 매핑을 의미한다. 이 매핑을 최적화하면, 서로 연관된 가상 작업들이 동일한 하이퍼모듈을 공유하게 되어 파라미터 효율성이 크게 향상된다. 초기화 단계에서는 He 정규 초기화를 기반으로 zℓ 를 일정한 크기로 고정함으로써, 하이퍼모듈 간의 호환성을 확보한다.

매핑 ψ 를 찾는 문제는 이산 최적화이며, 저자들은 (1+λ)‑EA(진화적 알고리즘)를 확장한 분산 탐색 방식을 제안한다. 전체 L개의 블록을 D개의 서브맵으로 나누어 병렬로 평가하고, 각 서브맵에 대해 선형 스코어링 함수를 사용해 최적화를 진행한다. 이론적 분석에 따르면, 서브맵 수 D를 작업 수 T 혹은 블록 수 L에 맞추면 탐색 복잡도가 O(K L log L)에서 O(K log L) 수준으로 크게 감소한다.

실험은 세 단계로 진행된다. 첫 번째는 유명한 synthetic MT‑LSTM 벤치마크에서 기존 방법 대비 1‑2%의 정확도 향상을 보이며, 가상 작업 간 공유가 실제 학습 효율을 높임을 증명한다. 두 번째는 비전(ResNet‑50), NLP(BERT‑base), 유전체(1‑D ConvNet) 세 가지 대규모 모델에 MUiR을 적용한 사례이다. 각 도메인에서 평균 0.5~1.2%의 성능 개선을 기록했으며, 특히 하이퍼모듈 사용 빈도가 높은 블록은 일반화 성능이 크게 향상되는 경향을 보였다. 마지막으로, 학습 후 하이퍼모듈을 분석한 결과, 일부 모듈은 “패턴 인식”, “시계열 추론” 등 도메인에 독립적인 기능을 학습한 것으로 확인되었다.

이 논문의 핵심 기여는 (1) 아키텍처에 구애받지 않는 파라미터 블록 기반의 가상 작업 정의, (2) 하이퍼모듈을 통한 효율적인 재파라미터화, (3) 확장 가능한 진화적 매핑 최적화 알고리즘이다. 이러한 설계는 멀티모달·멀티도메인 환경에서 공통 기능을 자동으로 추출하고, 파라미터 효율성을 극대화함으로써 향후 일반 인공지능 시스템 구축에 중요한 토대를 제공한다.