선호 학습을 위한 정확한 지식 그래디언트

초록

본 논문은 쌍대 비교만 가능한 상황에서 베이지안 최적화의 핵심 획득 함수인 지식 그래디언트를 정확히 계산하는 방법을 제시한다. 프로빗 모델과 가우시안 프로세스(GP) 가정 하에, 비가우시안 사후분포가 확장 스키우 정규분포(extended skew‑normal)임을 이용해 닫힌 형태의 기대값을 도출하고, 이를 통해 기존 근사 방식 없이도 선호 기반 BO에서 최적의 비교 쌍을 선택할 수 있다. 실험 결과는 제안 방법이 기존 획득 함수들을 일관되게 능가함을 보여준다.

상세 분석

이 논문은 선호 기반 베이지안 최적화(PBO)에서 가장 큰 난관인 “look‑ahead” 단계의 비가우시안 사후분포 문제를 정확히 해결한다는 점에서 학술적·실용적 의미가 크다. 기존 BO에서는 함수값 자체를 관측하지만, PBO에서는 쌍대 비교만 가능하므로 관측 모델이 프로빗(likelihood) 형태를 띤다. 이때 GP 사전을 적용하면 사후는 일반적인 라플라스 혹은 변분 근사 없이도 확장 스키우 정규분포로 표현될 수 있음을 보인다. 핵심은 조건부 기대값 E