차원 스케줄링을 활용한 베이지안 최적화: 생물 시스템 파라미터 추정의 혁신

본 논문은 베이지안 최적화(Bayesian Optimization, BO)가 전통적으로 “실험 비용이 높고 계산 비용이 낮은” 상황에 최적화되어 있다는 점을 출발점으로 삼는다. BO는 가우시안 프로세스(GP)를 서프라이즈 모델로 사용해 제한된 실험 횟수 안에서 전역 최적점을 탐색한다. 하지만 최근 시뮬레이션 기반 연구에서는 개별 실험(모델 시뮬레이션)이 수십 밀리초 내에 수행될 정도로 빨라졌으며, 수천 번의 평가가 가능해졌다. 이 경우 GP 학습·예측에 소요되는 O(N³) 연산이 전체 최적화 프로세스의 주된 병목이 된다. 이를 해결하고자 저자들은 “Dimension Scheduling Algorithm”(DSA)이라는 새로운 프레임워크를 제안한다. DSA는 매 반복마다 전체 변수 집합 중 일부 서브셋 Z를 선택해, 해당 서브셋 전용 GP_Z를 학습·예측한다. 서브셋 선택은 변수 중요도를 반영한 확률 벡터 P에 의해 이루어지며, P는 초기 데이터에 대한 주성분 분석(PCA) 결과를 기반으로 주기적으로(50회마다) 업데이트된다. 서브셋 크기 Z는 사용자가 지정할 수 있는데, 논문에서는 주로 2차원을 사용하였다. 알고리즘 흐름은 다음과 같다. ① 초기 샘플링(N회) 후 전체 GP와 현재 최적 후보 (x_b, y_b)를 저장한다. ② 현재 P를 이용해 차원 집합 Z를 무작위 추출한다. ③ Z에 해당하는 입력만을 사용해 GP_Z를 구축·업데이트한다(존재하지 않으면 새로 생성). ④ GP_Z의 획득함수(예: Expected Improvement)를 최적화해 Z 차원에 대한 최적값 x_Z^{n+1}을 얻는다. ⑤ 전체 변수 벡터 x^{n+1}를 기존 최적값 x_b의 비 Z 차원은 그대로 유지하고, Z 차원만 x_Z^{n+1}으로 교체한다. ⑥ 목표 함수 f(x^{n+1})를 평가하고, 결과 y^{n+1}을 GP_Z에 추가한다. ⑦ y^{n+1}이 현재 최적값보다 작으면 (x_b, y_b)를 갱신한다. 이 과정을 최대 반복 횟수까지 반복한다. DSA의 장점은 크게 두 가지이다. 첫째, 각 GP_Z는 전체 데이터가 아니라 Z에 해당하는 소규모 데이터만을 학습하므로 커널 행렬의 차원이 작아져 연산 복잡도가 크게 감소한다. 둘째, 여러 GP_Z가 독립적으로 존재하므로 멀티코어·멀티프로세서 환경에서 손쉽게 병렬화할 수 있다. 실제 구현에서는 매 반복마다 매니저 프로세스가 Z를 선택하고, 각 워커 프로세스가 해당 GP_Z와 획득함수 최적화를 담당하도록 설계하였다. 실험은 미세조류 대사 모델 파라미터 추정 문제에 초점을 맞추었다. 모델은 Baroukh et al. (2014)의 동적 시스템으로, 빛, 질산염 입력 등 외부 자극에 대한 반응을 시뮬레이션한다. 목표는 시뮬레이션 결과와 실제 실험 데이터(바이오매스, 지방, 탄수화물 등) 사이의 가중 제곱 오차를 최소화하는 것이다. 모델마다 파라미터 수와 범위가 다르며, 총 10가지 변형(M19, M26, M29G 등)을 대상으로 각각 4번의 독립 실행을 수행하였다. 각 실행은 500번의 BO/DSA 반복을 수행했으며, 동일한 초기 샘플과 SE 커널, Expected Improvement 획득함수를 사용하였다. 결과는 표와 그래프로 제시되었다. 대부분의 모델에서 DSA가 전통 BO보다 낮은 최종 목표값을 기록했으며, 특히 차원이 12~13인 모델에서 차이가 크게 나타났다. 평균 계산 시간은 전통 BO 대비 약 20% 수준으로 감소했으며, 이는 GP_Z당 데이터 양이 적어 학습·예측 비용이 크게 줄어든 결과이다. 또한 DSA는 매 반복마다 다른 차원 조합을 탐색하므로, 목표값이 더 자주 개선되는 경향을 보였다. 그러나 DSA는 전체 데이터에 대한 전역 수렴을 보장하지 못한다는 한계가 있다. 차원 수가 크게 늘어나면 서브셋 선택 확률이 희박해져 각 GP_Z의 학습 데이터가 너무 적어 모델 정확도가 떨어질 수 있다. 이를 보완하기 위해 저자들은 (1) DSA 단계 이후 전통 BO를 추가로 실행하는 하이브리드 전략, (2) 마진 가능도 기반으로 중요도가 낮은 GP_Z를 정리(pruning)하는 방법을 제안한다. 논문의 마지막에서는 DSA가 “실험이 빠르고 데이터가 풍부한” 상황에서 BO의 병목을 효과적으로 해소함을 강조한다. 특히 병렬 구현이 간단하고, 기존 GP 기반 BO와 비교해 높은 차원에서도 상대적으로 좋은 성능을 보이는 점이 장점이다. 향후 연구에서는 더 큰 차원(수십~수백) 문제에 대한 확장, 자동 서브셋 크기 조정, 그리고 분산 GP 프레임워크와의 결합을 통해 실용성을 높일 수 있을 것으로 기대된다.