밴디크 다중 밴딧 기반 효율적 멀티태스크 분해

초록

밴디크는 멀티태스크 학습에서 부정적 전이와 조합 폭증 문제를 해결하기 위해 세 단계의 절차와 다중 밴딧 구조를 도입한다. 먼저 작업 간 쌍별 전이 효과를 추정하고, 이를 기반으로 각 목표 작업에 대해 선형 개수의 보조 작업 집합을 생성한다. 이후 각 작업별 다중 팔 밴딧을 구성하고, 동일 신경망이 여러 팔을 동시에 담당하도록 설계한 다중 밴딧 프레임워크로 효율적인 탐색·활용을 수행한다. 약물‑표적 상호작용 데이터셋 실험에서 계산 비용을 크게 낮추면서도 성능 향상을 입증하였다.

상세 분석

본 논문은 멀티태스크 학습(MTL)에서 흔히 발생하는 ‘부정적 전이(negative transfer)’와 ‘가능한 보조 작업 집합의 조합 폭발(combinatorial explosion)’이라는 두 가지 근본적인 난제를 동시에 해결하고자 한다. 기존 연구들은 보조 작업 집합을 전부 탐색하거나, 휴리스틱 기반으로 일부만 선택하는 방식에 의존했으며, 이는 계산 비용이 기하급수적으로 증가하거나 전이 효과를 정확히 파악하지 못한다는 한계를 가지고 있었다. 밴디크는 이러한 문제를 구조적으로 분해한다. 첫 단계에서는 모든 작업 쌍에 대해 전이 행렬을 추정한다. 여기서 전이 행렬은 한 작업을 학습할 때 다른 작업이 제공하는 이득 혹은 손해를 정량화한 값으로, 단일 랜덤 train‑test 분할을 이용해 다중 출력 신경망을 학습·평가함으로써 비용을 최소화한다. 두 번째 단계에서는 추정된 전이 행렬을 기반으로, 각 목표 작업에 대해 ‘유망한’ 보조 작업 집합을 선형 개수(전체 작업 수와 동일)만큼 생성한다. 이는 “전이가 양수인 작업”만을 선택하거나, 전이 강도가 높은 상위 k개 작업을 조합하는 방식으로 구현되며, 조합 공간을 O(N)으로 축소한다. 세 번째 단계는 핵심적인 다중 팔 밴딧(MAB) 설계이다. 각 목표 작업마다 별도의 밴딧을 두고, 각 팔은 앞서 만든 후보 보조 작업 집합을 이용해 학습된 다중 출력 신경망의 성능을 나타낸다. 여기서 혁신적인 점은 동일한 신경망이 여러 작업의 서로 다른 밴딧 팔을 동시에 담당한다는 ‘반중첩(semi‑overlapping) 팔’ 구조이다. 이를 이용해 전체 탐색 비용을 크게 절감하면서도, 각 작업별 최적의 보조 집합을 효율적으로 식별한다. 논문은 이 다중 밴딧 구조를 ‘멀티밴딧’이라고 명명하고, 기존 MAB 이론을 확장해 보상(성능)과 비용(학습 시간) 사이의 trade‑off를 정량화한다. 실험에서는 약물‑표적 상호작용(DTI) 벤치마크를 사용해, 전통적인 전부 탐색 방식 대비 10배 이상 빠른 수렴 속도와, 최종 AUROC/ AUPRC 지표에서 유의미한 개선을 기록하였다. 또한, 전이 행렬 추정 정확도가 전체 성능에 미치는 영향을 분석한 어블레이션 실험을 통해, 초기 전이 추정 단계가 전체 파이프라인의 성능 보증에 핵심임을 확인하였다. 전체적으로 밴디크는 전이 효과를 정량화하고, 이를 기반으로 후보 집합을 선형으로 축소한 뒤, 다중 밴딧을 통해 비용 효율적인 탐색을 수행함으로써, 대규모 멀티태스크 환경에서도 실용적인 솔루션을 제공한다는 점에서 의미가 크다.