보조 정보 활용 소수샷 설계 최적화

초록

본 논문은 설계 실험 시 얻어지는 고차원 보조 데이터 h(x)와 과거 유사 과제들의 기록을 활용해, 새로운 설계 과제에 대해 소수의 샘플만으로 성능 f(x)를 예측하고 최적화를 가속화하는 방법을 제안한다. 트랜스포머 기반 신경망을 메타‑학습시켜 다중 과제에서 보조 정보를 일반화 가능한 표현으로 학습하고, 이를 베이지안 최적화의 서브모델로 사용한다. 로봇 그리퍼 설계와 신경망 하이퍼파라미터 튜닝 두 도메인에서 기존 다중‑작업 최적화 기법을 크게 앞서는 성능을 보였다.

상세 분석

이 연구는 기존 베이지안 최적화(Bayesian Optimization, BO)가 단일 스칼라 보상 f(x)만을 이용한다는 한계를 지적하고, 실제 실험에서는 센서 시계열, 이미지, 학습 곡선 등 고차원 보조 정보 h(x)가 동시에 수집된다는 점에 주목한다. 저자는 이러한 h(x)를 “보조 정보”라 명명하고, 여러 관련 과제 T₁…T_N 의 히스토리를 활용해 새로운 과제 T* 에 대한 f(x) 예측 모델을 사전 학습한다. 핵심 기술은 다음과 같다.

1. 메타‑학습용 트랜스포머 구조: 입력으로는 디자인 변수 x, 보조 정보 h(x) 그리고 과제 식별자 z를 포함한 컨텍스트 C (소수 샘플)와 예측 대상 x′ 를 제공한다. 트랜스포머는 컨텍스트 내의 h(x) 시퀀스를 자기‑주의 메커니즘으로 인코딩해, f(x′) 의 불확실성까지 추정하는 확률적 출력 Pθ(f|C, x′) 을 생성한다.

2. 다중 과제 메타‑학습: 각 과제 Ti 는 서로 다른 디자인 공간과 보조 정보 분포를 갖지만, h(x) 의 구조적 특성(예: 시계열 패턴, 물리량 분포)은 공유된다. 저자는 전체 과제 집합을 하나의 대규모 데이터셋으로 결합하고, ELBO 최적화를 통해 Pθ 가 “few‑shot” 상황에서도 빠르게 적응하도록 학습한다. 이는 기존 뉴럴 프로세스(NP)와 달리 고차원 h(x) 를 직접 처리하도록 설계된 점이 차별점이다.

3. 보조 정보 활용을 위한 손실 설계: 예측 손실은 f 의 MSE와 함께 h 의 재구성 손실을 가중합한다. 재구성 손실은 h(x) 를 저차원 임베딩으로 압축하고 다시 복원하도록 강제함으로써, 모델이 h 의 의미적 구조를 학습하도록 유도한다.

4. 베이지안 최적화와의 통합: 학습된 Pθ 는 전통적인 GP 서프라이즈 대신 “신경‑서프라이즈” 역할을 하며, 획득 함수(예: Expected Improvement, Probability of Improvement)를 적용한다. 이렇게 하면 매 반복마다 Pθ 가 제공하는 불확실성 추정치를 활용해 탐색‑활용 균형을 잡을 수 있다.

5. 실험 설계 및 결과:

   • 로봇 그리퍼 설계: 1000개의 서로 다른 물체에 대한 4.3 M 평가 데이터를 구축하고, 보조 정보로 촉각 센서 시계열(수천 차원)을 사용했다. 제안 방법은 10 샘플 이하의 컨텍스트만으로도 최적 설계에 도달했으며, 기존 다중‑작업 GP 기반 방법보다 평균 30 % 빠른 수렴을 보였다.
   • 하이퍼파라미터 튜닝: LCBench에서 제공하는 학습 곡선(에포크별 정확도)을 h(x) 로 활용했다. 제안 모델은 초기 5 개의 하이퍼파라미터 설정만으로도 최적에 근접한 정확도를 예측했으며, 베이스라인(멀티‑태스크 GP, 메타‑RL)보다 2배 이상 적은 평가 횟수로 목표 정확도에 도달했다.

핵심 인사이트는 보조 정보 h(x) 가 단순히 “부가적인 관측”이 아니라, 설계 실패·성공 원인을 설명하는 고차원 신호이며, 이를 메타‑학습된 표현으로 추출하면 소수 샘플만으로도 강력한 예측·최적화가 가능하다는 점이다. 또한, 트랜스포머 기반 메타‑모델이 고차원 시퀀스 데이터를 효율적으로 처리하면서 불확실성 추정까지 제공한다는 점이 기존 GP‑중심 접근법보다 확장성과 효율성에서 우수함을 입증한다.