다중 작업 신경망 구조 탐색을 위한 전이 순위 기반 진화 알고리즘

초록

KTNAS는 아키텍처를 그래프 형태로 변환하고 node2vec 임베딩을 이용해 성능을 예측한다. 전이 순위라는 인스턴스 기반 분류기를 도입해 소스 작업과 타깃 작업 간의 순위 불일치를 완화하고, 진화적 교차·돌연변이를 통해 다중 작업 NAS의 검색 효율과 최종 성능을 크게 향상시킨다. NASBench‑201, Micro‑TransNAS‑Bench‑101, DARTS 검색 공간 등에서 기존 다중 작업 NAS 대비 우수한 결과를 보이며, 전이 순위와 임베딩 선택이 성능에 미치는 영향을 상세히 분석한다.

상세 분석

KTNAS는 다중 작업 신경망 구조 탐색(Multi‑Task NAS)에서 발생하는 ‘순위 혼란(ranking disorder)’ 문제를 근본적으로 해결하고자 설계된 진화 기반 프레임워크이다. 기존 EMT‑NAS와 MT‑NAS는 소스 작업에서 높은 검증 정확도를 보인 아키텍처를 그대로 타깃 작업에 전이하지만, 두 작업 간 성능 순위가 낮게 상관될 경우 전이된 아키텍처가 오히려 성능 저하를 초래한다. 이를 방지하기 위해 논문은 두 핵심 아이디어를 제시한다. 첫째, 모든 아키텍처를 DAG(Directed Acyclic Graph) 형태로 변환하고 node2vec을 이용해 256‑차원의 임베딩 벡터로 매핑한다. 이 임베딩은 아키텍처 간 구조적 유사성을 코사인 거리로 정량화하여, 고차원 연산 비용을 크게 절감한다. 둘째, ‘전이 순위(transfer rank)’라는 인스턴스 기반 분류기를 도입한다. 전이 순위는 과거 전이 기록(양성·음성 전이)을 히스토리 전이 집합(HTS)에 저장하고, 현재 후보 아키텍처와 HTS 간 거리 행렬을 계산해 가장 가까운 이웃 두 개의 라벨을 합산함으로써 각 후보의 전이 우선순위를 점수화한다. 양성 전이(성능이 타깃 작업에서도 상위 r %에 진입)라면 +1, 음성 전이라면 –1을 부여한다. 이렇게 산출된 전이 순위 점수는 후보 선택 단계에서 상위 M개의 아키텍처를 추출하는 기준이 되며, 전이된 아키텍처가 타깃 작업에 실제로 긍정적 영향을 미칠 확률을 크게 높인다.

진화 과정은 각 작업마다 독립적인 인구 집단을 유지하면서, 자체 진화와 전이 집단 교차를 병행한다. 교차·돌연변이 연산은 기존 진화 NAS와 동일하게 수행되며, 환경 선택은 전체 인구(P ∪ TP ∪ O) 중 상위 K개를 선택하는 top‑K 방식으로 이루어진다. 핵심 하이퍼파라미터인 r % (양성 전이 판단 기준), m (히스토리 저장 세대 수), M (전이 후보 수)는 실험을 통해 민감도 분석이 제공되어, 적절히 조정하면 전이 효율과 검색 비용 사이의 트레이드‑오프를 유연하게 조절할 수 있다.

실험 결과는 세 가지 주요 검색 공간에서 검증된다. NASBench‑201에서는 동일한 연산 예산 하에 KTNAS가 기존 다중 작업 NAS보다 평균 2.3 % 높은 정확도를 달성했으며, Micro‑TransNAS‑Bench‑101에서는 7개의 비전 작업 간 순위 상관계수가 낮은 경우에도 전이 순위 덕분에 성능 저하를 최소화했다. DARTS 검색 공간에서는 CIFAR‑10/100, MNIST, Fashion‑MNIST, MedMNIST 등 다양한 데이터셋에 대해 전체 검색 시간은 30 % 이하로 감소하면서, 최종 테스트 정확도는 평균 1.8 % 상승했다. Ablation study에서는 전이 순위 없이 단순히 소스 작업 순위만 사용했을 때 성능이 급격히 떨어지는 것을 확인했으며, node2vec 대신 원-핫 인코딩을 사용했을 때도 임베딩 기반 방법이 더 효율적임을 입증했다.

요약하면, KTNAS는 (1) 그래프 기반 아키텍처 임베딩을 통한 저비용 성능 예측, (2) 전이 순위라는 데이터‑드리븐 전이 선택 메커니즘, (3) 진화적 교차·돌연변이와 결합된 다중 작업 최적화를 통해 기존 방법들의 한계를 극복하고, 다양한 비전 작업에 걸쳐 높은 검색 효율과 일반화 성능을 동시에 달성한다는 점에서 의미가 크다.