서론

딥 러닝 모델을 학습하는 것은 많은 컴퓨팅 자원이 필요합니다. 모델 설계, 조정, 검증의 일반적인 사이클은 느리고 비싸며 다양한 시나리오로 배포하기 어렵습니다. 녹색 컴퓨팅 측면에서는 최소한의 에너지 사용으로 딥 러닝 작업을 수행하는 것이 중요합니다. 따라서 딥 러닝 작업에 대한 현명하고 에너지를 고려한 계획이 매우 중요한 역할을 합니다. 이 연구는 학습 수렴 전에 특정 모델이 얼마나 잘 수행될 것인지 예측할 수 있는 능력을 목표로 합니다. 이러한 예지 행동을 통해 딥 인덕션 절차를 진행하거나 중단하는 선택권을 가지게 됩니다. 또한, 필요하다면 모델의 능력성을 확인하기 위해 근사 성능만으로도 충분할 수 있습니다. 전체적으로 제안된 방법은 MLOps가 중요한 학문이 되면서 불필요한 계산을 줄이는 유익한 사전 절차로 작용합니다.

주요 문제는 모델의 정식 학습 전에 딥 모델의 성능에 대한 단서를 제공하는 것입니다. 이 단서는 훈련된 모델이 잘 작동할지 또는 그렇지 않을지를 나타내며, 이를 통해 여러 행동 계획을 세울 수 있습니다: (i) 모델은 잘 작동하고 정식 학습 후 정확한 모델 성능을 알고 싶습니다; (ii) 특정 정도까지 모델의 근사 성능을 이해하며, 이 근사는 다양한 설정이나 매개변수를 가진 모델 사이에서 평가하기에 충분합니다; (iii) 모델은 기대치보다 잘 작동하지 않거나 전혀 작동하지 않을 수 있으므로 그러한 딥 모델의 사용을 피해야 합니다. 전체 학습을 수행하는 데 필요한 계산이 저장됩니다.

위에서 언급된 문제에 대한 실용적인 해결책은 네 가지 요구 사항을 동시에 충족해야 합니다: (i) 학습 전에 엄격하게 작동, (ii) 계산적으로 가볍게 유지, (iii) 다양한 데이터셋과 도메인에 일반화, (iv) 디자인 선택을 알리는 데 충분히 해석 가능. 기존 접근법은 이러한 요구 사항 중 하나 이상을 충족하지 못할 수 있습니다. 학습 곡선 기반 방법들은 여전히 부분 학습 실행을 필요로 하며, 이는 초기 계산을 피하려는 아이디어와 상충합니다. 다른 접근법은 그래프 신경망(GNN)과 같은 복잡한 대리자를 사용하여 실제 모델을 훈련하는 데 필요한 시간과 메모리를 동등하게 차지할 수 있습니다. 또한 많은 방법들이 검은 상자처럼 작동하고, 왜 모델이 성공하거나 실패할 지에 대한 설명이 제한적입니다. 따라서 훈련 전략을 개선하거나 수정하기 위한 가능성이 부족합니다. 예를 들어 White 등은 NAS를 가속화하는 경로 기반 인코딩을 통해 신경망 예측기인 BANANAS를 제안했지만, 이는 여전히 왜 특정 아키텍처가 잘 작동할 수 있는지에 대한 한정된 해석성을 갖춘 예측 대리자입니다.

이 논문에서는 주어진 데이터셋과 선택한 학습 모델을 기반으로 딥 러닝 모델의 성능을 정식 훈련 전에 예측하기 위한 효율적인 두 단계 프레임워크를 제안합니다. 이 프레임워크의 새로운 설계는 예측 문제를 두 단계로 분리하는 것입니다. 첫 번째 단계에서는 데이터셋이 얼마나 어려운지 추정합니다. 데이터셋이 더 어렵다면 딥 모델은 해당 데이터에 대해 정확한 예측을 내리는 것이 더욱 어려워집니다. 데이터의 난이도는 감독 학습에서 서로 다른 레이블을 가진 데이터 사이의 고밀도 겹침 영역이나 비감독 학습에서 다양한 데이터 그룹 사이의 관계를 의미할 수 있습니다. 또한 데이터가 부드럽지 않은 결정 경계를 가지거나 잠재적 특징을 포함하고 있을 수도 있습니다. 데이터의 난이도는 어떤 딥 모델이 선택되더라도 해당 데이터셋에 적용될 때 성능에 영향을 미칠 것입니다. 첫 번째 단계에서는 사전 정의된 복잡성 측정을 사용하여 데이터셋 특성을 기반으로 기본 성능 수준을 추정합니다.

두 번째 단계는 딥 모델 아키텍처가 결정되었을 때 모델 성능 예측 결과를 확인하는 것입니다. 첫 번째 단계에서 얻은 기본 예측을 바탕으로 선택된 다양한 딥 모델에 대한 일정한 편차가 있을 수 있습니다. 따라서 특정 딥 모델이 선택되거나 딥 아키텍처가 결정되었을 때 기본 예측과 얼마나 차이나는지 확인합니다. 단일 단계 설계와 비교할 때, 제안된 분해 프레임워크는 모델 성능에 영향을 미칠 수 있는 두 가지 유형의 요소를 반영합니다. 데이터셋 난이도는 첫 번째 성능을 지배하며, 딥 모델 성능에 영향을 줄 수 있는 데이터셋 특성을 잘 포착할 수 있습니다. 한편, 모델 아키텍처와 하이퍼파라미터는 조건부 편차를 더하기 때문에 비선형 학습자가 처리해야 합니다. 이러한 구성 요소와 경험적 지원에 대해서는 Section 4.2에서 설명합니다.

이 연구의 핵심 특성과 기여를 다음과 같이 정리합니다:

• 두 단계 예측 프레임워크: 녹색 컴퓨팅을 위한 딥 모델 성능 예측을 위해 일반적인 두 단계 설계 방법을 소개합니다. 데이터셋의 특성과 속한 도메인 모두가 예측에 고려됩니다.
• 데이터 주도 아키텍처 선택: Variance Mean이라는 하나의 데이터 메트릭이 모델 깊이와 강력하게 연관되어 있으며, 데이터셋 속성 기반의 간단한 규칙을 제공합니다. 정식 딥 학습 전에 데이터 난이도 측정이 알려져 있고 중요한 단서와 조기 예측을 사용하여 어떤 딥 모델 구조가 될 수 있는지 결정할 수 있습니다.
• 데이터 품질의 조기 진단 신호: 학습 시작 전에 데이터셋의 편향이나 분산 문제를 식별하는 PC6이라는 구성 요소가 있습니다. 이는 학습을 시작하기 전에 특정 데이터 클리닝 또는 사전 처리 절차를 수행하여 준비된 정제된 데이터로 견고한 학습을 할 수 있게 합니다.
• 낮은 데이터 요구사항: 이 방법은 전체 데이터셋의 약 16%만으로 난이도 메트릭을 추정할 수 있으므로 자원이 제한적일 때에도 효율적이며 실제로 배포하기 쉽습니다. 또한, 완성된 데이터셋이 준비되기 전에 제안된 방법을 실행할 수도 있습니다. 즉, 전체 데이터셋을 수집하거나 얻기 전에 제안된 예측을 수행할 수 있어 데이터 수집 절차에서 많은 노력을 줄일 수 있습니다.

본 논문의 나머지 부분은 다음과 같이 구성되어 있습니다. 서론 직후에는 Section 2에서 제안된 방법과 관련 작업을 검토합니다. Section 3에서는 제안된 방법 및 그 설계를 지원하는 근거를 소개합니다. 이어서 Section 4에서는 평가와 토론이 이루어집니다. 마지막으로, Section 5에서 연구를 결론지어봅니다.

관련 작업

딥 러닝 모델의 성능 예측은 학습에 대한 높은 계산 비용과 효율적인 자원 계획의 필요성 때문에 관심을 받고 있습니다. 이전 작업에는 분석적 모델링, 데이터 주도 예측 및 메타 특성 기반 접근법이 포함됩니다.

Qi 등은 PALEO를 제안했습니다. PALEO는 딥 뉴럴 네트워크의 실행 시간을 계산과 통신 구성 요소로 분해하여 추정하는 분석적 성능 모델입니다. PALEO는 아키텍처 사양, 하드웨어 기능 및 통신 전략에 기반한 각 층 연산을 모델링합니다. 이는 다양한 병렬화 방식에 대한 확장성 분석을 지원하고 실제로 실행 없이 성능 추정을 가능하게 합니다. PALEO는 런타임 추정에 효과적이지만 시스템 수준의 효율성을 중점으로 하고 모델 정확도 예측에는 집중하지 않습니다.

Justus 등은 개별 네트워크 구성 요소의 실행 시간을 모델링하여 학습 시간 예측에 접근했습니다. 그들의 방법은 딥 네트워크를 사용하여 실행 시간 매핑을 학습하고 이를 수집하여 전체 런타임을 얻습니다. 이 접근법은 메모리 병목 현상 및 하드웨어 특수한 비효율성과 같은 비선형 요인을 포착합니다. 그러나 여전히 시점 예측에 한정되며 데이터셋 속성이나 학습 동적 요소를 고려하지 않습니다.

Gao 등은 그래프 신경망을 사용하여 딥 러닝 모델의 성능을 예측하는 방법을 논했습니다. 주요 문제 중 하나는 그래프 신경망에 소비되는 시간이 딥 러너보다 더 짧지 않을 수 있다는 것입니다. 제안된 방법에서는 대신 랜덤 포레스트를 사용하여 예측합니다. 이는 딥 러닝 학습 전에 딥 러닝 성능을 빠르게 이해할 수 있기 때문입니다.

많은 기존 접근법이 실행 시간이나 시스템 비용을 추정하는 것에 초점을 맞추지만, 다른 방법들은 모델 정확도를 직접 예측합니다. 일반적인 접근 방식 중 하나는 학습 곡선 외삽법입니다. Domhan 등은 초기 검증 결과에 간단한 함수(예: 거듭제곱 법칙)를 피팅하여 최종 정확도를 추정할 수 있으며, 덜 유망한 모델의 조기 중지가 가능하다고 보여주었습니다. 이 아이디어를 바탕으로 Freeze-Thaw Bayesian Optimization은 부분 학습 곡선을 모델링하고 가우시안 프로세스를 사용하여 리소스 할당을 개선했습니다. 실제에서 유용하지만 이러한 방법들은 여전히 부분 학습에 의존하며 무작위 변동과 하이퍼파라미터 스케줄의 영향을 받습니다.

부분 학습의 필요성을 피하기 위해 일부 연구자들은 메타러닝으로 전환했습니다. 이 설정에서는 정확도 예측이 과거 실험 결과를 기반으로 다양한 데이터셋과 모델에 대해 수행되는 감독 회귀 문제로 처리됩니다. 이러한 방법은 데이터셋 수준 통계, 분류기 출력 또는 Dataset2Vec과 같은 임베딩을 사용합니다. 유연하지만 메타러닝은 종종 많은 양의 사전 데이터와 복잡한 전처리를 요구하여 입력 특징을 추출해야 합니다.

간단한 대안으로, Data Complexity Measures(DCMs)는 고전적인 머신 러닝에서 분류 문제의 어려움을 설명하는 데 오랫동안 사용되어 왔습니다. 이러한 측정은 클래스 겹침, 결정 경계 모양 및 특징 공간 구조와 같은 속성을 포착합니다. 원래 알고리즘 선택과 작업 비교를 위해 개발되었지만 딥 러닝 성능을 예측하는 데는 제한적으로 사용되었습니다.

본 연구에서는 DCMs가 기초적인 모델 설명자와 어떻게 결합하여 학습 전에 모델 정확도를 추정할 수 있는지 탐구합니다. 우리의 방법은 과거 성능 데이터로 훈련되어 데이터셋 복잡성이 모델 행동과 어떻게 연관되는지를 배우지만, 추론 시에는 학습 곡선이나 작업 특수 메타데이터가 필요하지 않습니다. 목표는 계산 자원이 제한적일 때 특히 모델과 데이터셋에 대한 조기 결정을 지원하는 것입니다.

방법론

문제 설정 및 설계 원칙

데이터셋 $`D`$와 모델 구성 $`m`$(아키텍처 가족과 하이퍼파라미터)을 주어진 상황에서, $`A(m,D)`$를 수렴된 테스트 정확도로 표시합니다. 우리는 최소한의 계산 오버헤드와 다양한 데이터셋 및 도메인에 대한 적용 가능성을 제약하는 학습 전 예측기 $`g`$를 설계하려 합니다.

우리의 설계는 두 가지 원칙을 지침으로 합니다: (i) 분해: 성능을 데이터셋 주도 기반과 아키텍처 조건부 편차로 분해합니다, $`A(m,D) \approx A_{\text{base}}(D) + O(m,D)`$; (ii) 간결한 표현력: 첫 번째 순위의 기초는 선형 모델을 사용하고 두 번째 순위 조건부 편차는 비선형 회귀를 사용합니다.

전체 프레임워크 아키텍처

우리의 프레임워크는 위의 원칙을 두 단계 파이프라인으로 구현합니다; 데이터 복잡성 측정(DCMs)을 통해 주성분 분석(PCA)을 수행한 컴팩트 복잡성 기반을 사용하여 각 데이터셋에 내재된 기본 정확도 $`\hat{A}`$를 추정합니다. 단계 2에서는 모델 아키텍처 설명자와 기본값을 조건으로 성능 편차 $`\hat{O}`$를 예측합니다. PCA는 복잡성 특징의 기반을 제공하며, 이 분해에 대한 경험적 지원은 Section 4.2에서 나타납니다. 이러한 모듈식 설계—단계 1이 “문제 난이도"를 모델링하고 단계 2가 “해결 방법 품질"을 모델링하는 것—은 예측 정확성을 개선하고 해석 가능성을 유지하며 자원 제한 MLOps 환경에서 배포를 지원합니다.

단계 1: 기본 정확도 추정

단계 1은 각 데이터셋에 내재된 기본 정확도($`\hat{A}_{\text{base}}`$)를 모델과 무관하게 추정합니다. 우리는 DCMs에서 파생된 주성분(PCs)을 사용하여 보통 최소 제곱(OLS) 회귀를 수행합니다:

\begin{equation}
    \hat{A}_{\text{base}} = \beta_0 + \sum_{i=1}^{N}\beta_i \cdot \text{PC}_i + \varepsilon,
    \label{eq:stage1}
\end{equation}

여기서 $`\beta_i`$는 회귀 계수, $`\varepsilon`$는 잔차 오차, 그리고 $`\text{PC}_i`$는 선택된 PCs($`N=7`$)입니다.

단계 2: 성능 편차 추정

두 번째 단계에서는 특정 아키텍처와 하이퍼파라미터를 선택한 결과 발생하는 기본값에서의 성능 편차, $`\hat{O}`$,을 모델링합니다. 이러한 오프셋은