관측 의존 베이지안 활성 학습을 위한 입력 워핑 가우시안 프로세스

초록

본 논문은 기존 가우시안 프로세스(GP) 기반 베이지안 활성 학습에서 관측값이 후방 분산에 미치는 영향을 제한적으로 다루는 문제를 해결하고자, 입력 공간을 관측에 따라 변형하는 단조적 입력 워핑을 도입한다. 워핑은 변분 기반 획득 함수를 조정해 비정상성을 효과적으로 탐색하며, 자체 지도 학습 목표를 통해 기존의 주변가능도 최대화보다 우수한 샘플 효율성을 보인다.

상세 분석

이 연구는 베이지안 활성 학습에서 가장 널리 사용되는 가우시안 프로세스(GP) 서프라이즈가 “관측값에 조건부 독립적인 후방 분산”이라는 구조적 한계에 놓여 있음을 명확히 지적한다. 즉, 하이퍼파라미터가 고정된 상태에서는 획득 함수가 입력 좌표의 기하학적 배치에만 의존하고, 실제 관측된 함수값의 변동성은 탐색 경로에 반영되지 않는다. 이러한 “오픈 루프” 특성은 급격히 변동하는 영역을 우연히 샘플링하기 전까지는 탐색이 이루어지지 않는 실패 모드를 초래한다.

저자들은 이를 해결하기 위해 입력 공간을 관측에 따라 동적으로 재매핑하는 입력 워핑 메커니즘을 제안한다. 워핑 함수 (T_{\phi})는 단조적이고 매끄러운 스플라인(조건부 유리쿼드러틱 스플라인, C‑RQS)으로 구현되어, 입력 좌표를 비선형적으로 확장·압축한다. 워핑은 GP 서프라이즈 자체를 변경하지 않고, 오직 획득 함수가 후방 분산을 평가하는 입력 기하학만을 변형한다. 따라서 예측 정확도는 기존 GP와 동일하게 유지하면서, 변동성이 큰 영역은 입력 공간에서 “늘어나” 분산 기반 획득 함수가 그곳을 우선 탐색하도록 만든다.

워핑 파라미터 (\phi)의 학습 방법으로 두 가지 접근을 비교한다. 첫 번째는 전통적인 주변가능도(MLL) 최대화이며, 이는 관측 데이터에 대한 모델 적합성을 직접 최적화한다. 그러나 저자들은 MLL이 탐색 목적에 최적화되지 않아 실제 활성 학습 성능이 제한적임을 실험적으로 확인한다. 대신 제안된 자체 지도(self‑supervised) 목표는 고정된 “참조 GP”(워핑이 없는 기본 GP)의 평균을 워핑된 posterior에서 재현하도록 하는 부정 로그예측밀도 손실이다. 이 손실은 입력 전역에 걸쳐 분산 구조를 재배치하도록 유도하며, 관측값이 없는 영역에서도 불확실성을 적절히 조정한다.

알고리즘은 매 반복마다 (1) 현재 데이터로 GP 하이퍼파라미터 (\theta)를 업데이트하고, (2) (\theta)를 고정한 채 워핑 파라미터 (\phi)를 자체 지도 손실로 최적화한다. 이후 변형된 입력에 대해 획득 함수를 최대화해 다음 샘플을 선택한다. 이 과정은 워핑과 GP가 교대로 학습되면서 탐색 정책이 관측된 복잡도에 실시간으로 적응한다는 점에서 기존의 정적 입력 기하학 기반 방법과 근본적으로 차별화된다.

실험에서는 1‑D 및 다차원 합성 함수, 비정상적 변동성을 보이는 물리‑시뮬레이션, 그리고 실제 과학 데이터셋(예: 태양전지 효율 예측) 등을 대상으로 비교한다. 워핑을 MLL로 학습한 경우와 자체 지도 손실을 사용한 경우를 모두 기존 GP‑BALD, Max‑Var, 그리고 입력 워핑 없는 비정상 GP와 비교했을 때, 특히 비정상성이나 급격한 변화가 있는 영역에서 샘플 효율이 30‑50% 이상 향상되는 것으로 보고된다. 또한 워핑이 과도하게 복잡해지는 것을 방지하기 위한 정규화와 스플라인 파라미터 제한이 안정적인 학습을 보장한다는 점도 강조한다.

이 논문의 주요 기여는 (i) 변분 기반 획득 함수가 입력 기하학에 의존한다는 근본적 통찰을 명확히 제시하고, (ii) 관측값에 반응하는 입력 워핑 프레임워크를 설계해 탐색 정책을 동적으로 조정함을 보였으며, (iii) 탐색 목적에 특화된 자체 지도 손실이 기존 주변가능도보다 실질적인 활성 학습 성능을 크게 개선한다는 실증적 증거를 제공한다. 한편, 워핑이 고차원 입력에 적용될 때 스플라인 파라미터 수와 계산 비용이 급증할 수 있다는 제한점과, 워핑이 과도하게 비선형이면 GP 커버리지가 왜곡될 위험이 있다는 점을 향후 연구에서 보완해야 할 과제로 제시한다.