다목적 고비용 최적화를 위한 파운데이션 모델 FoMEMO

초록

FoMEMO는 수백만 개의 합성 데이터를 이용해 사전 학습된 트랜스포머 기반 파운데이션 모델을 제시한다. 모델은 도메인 트래젝터리와 사용자 선호를 컨텍스트로 받아, 선호별 집계 사후분포를 즉시 예측한다. 이를 바탕으로 별도 모델 재학습 없이 인‑컨텍스트 방식으로 획득 함수를 최적화해 빠른 다목적 최적화를 수행한다. 실험 결과, 기존 GP‑기반 MOBO와 학습 기반 방법들을 크게 능가한다.

상세 분석

FoMEMO는 기존 다목적 베이지안 최적화(MOBO)와 학습 기반 최적화의 근본적인 한계를 동시에 해결한다는 점에서 혁신적이다. 첫째, 전통적인 MOBO는 새로운 문제마다 각 목표에 대해 가우시안 프로세스(GP)를 새로 학습해야 하며, 이는 고비용 평가 환경에서 비효율적이다. FoMEMO는 한 번의 사전 학습으로 모든 목표와 도메인에 적용 가능한 파운데이션 모델을 구축한다. 여기서 핵심은 “선호‑조건부 집계 사후분포(aggregated posterior)”를 직접 예측한다는 점이다. 트랜스포머는 입력으로 (1) 기존 평가 트래젝터리 Dₙ, (2) 현재 탐색 포인트 x, (3) 사용자 선호 λ를 받아, g = –s_λ(x) 의 사후분포 qθ(g|x,Dₙ;λ)를 출력한다. 이 과정은 전통적인 GP‑기반 사후 추정과 달리 순전파 한 번으로 완료되므로 시간 복잡도가 크게 감소한다.

둘째, FoMEMO는 실제 실험 데이터를 필요로 하지 않는다. 저자들은 RBF 커널을 가진 GP로부터 수백만 개의 합성 함수와 그에 대응하는 트래젝터리를 생성한다. 파라미터(특성 차원 d, 목표 수 m, 트래젝터 길이 n 등)를 다양하게 샘플링함으로써 훈련 데이터의 다양성을 확보하고, 이는 모델이 “보편적인 함수 공간”을 학습하도록 만든다. 이렇게 만든 합성 데이터는 실제 고비용 문제와 통계적으로 유사한 분포를 제공한다는 가정 하에, 파운데이션 모델이 실제 도메인에서도 좋은 일반화 성능을 보인다.

셋째, 인‑컨텍스트 최적화 단계에서 FoMEMO는 두 종류의 획득 함수를 제안한다. (a) 선호 기반 acquisition은 사용자가 명시한 λ에 따라 집계 사후분포를 활용해 기대 개선(EI) 혹은 하이퍼볼륨 기반 지표를 직접 계산한다. (b) 선호‑프리 acquisition은 λ를 샘플링해 평균화된 사후분포를 이용, 사용자 선호가 명시되지 않은 상황에서도 효율적인 탐색을 가능하게 한다. 중요한 점은 이들 획득 함수가 모델 파라미터 업데이트 없이 바로 적용된다는 것이다.

실험에서는 다양한 합성 베치와 실제 엔지니어링 설계 문제(예: 신경망 구조 탐색, 전자 회로 설계 등)에 FoMEMO를 적용했으며, 평가 지표인 하이퍼볼륨(HV) 및 평균 정규화된 지표에서 기존 GP‑기반 MOBO, BOFormer 등 최신 메타‑학습 기반 방법들을 지속적으로 앞섰다. 특히 제한된 평가 예산(≤50회) 하에서도 빠르게 파레토 전선을 근사하는 능력이 돋보였다.

한계점으로는 (1) 합성 데이터 생성이 GP‑기반이라는 점에서 근본적인 함수 다양성에 제한이 있을 수 있다. (2) 트랜스포머 모델의 규모가 커질수록 사전 학습 비용이 급증한다는 현실적인 제약이 존재한다. (3) 현재는 연속형 목표와 확률적 노이즈가 없는 상황을 가정했으며, 제약 조건이나 이산형 변수에 대한 확장은 추가 연구가 필요하다. 그럼에도 불구하고 FoMEMO는 “한 번 학습, 언제든 적용”이라는 파운데이션 모델 패러다임을 다목적 고비용 최적화에 성공적으로 도입한 최초 사례로 평가된다.