계층형 베이지안 최적화에서 전이 학습과 거리 기반 편향

초록

본 논문은 거리 기반 통계에 기반한 전이 학습 기법을 계층형 베이지안 최적화 알고리즘(hBOA)에 적용한다
NP‑완전 문제인 MAX‑SAT, 스핀 글라스, 최소 정점 커버에 대해 실험을 수행하고
다른 크기의 문제에서도 효과가 유지됨을 입증한다
또한 기존 효율화 기법과 결합했을 때 거의 곱셈적인 속도 향상이 가능함을 보여준다

상세 분석

hBOA는 확률적 모델 기반 진화 알고리즘 중에서도 특히 복잡한 상호작용을 포착하는 데 강점을 가진다
하지만 매 실행마다 모델을 새로 학습해야 하는 비용이 크게 작용한다는 한계가 있다
이 논문에서 제안하는 전이 학습 기법은 이전 실행에서 얻은 거리 기반 통계, 즉 변수 쌍 사이의 상관 거리 정보를 저장하고 이를 새로운 실행 시 사전 확률로 활용한다
거리 기반 통계는 변수 간 의존성이 거리 함수에 따라 감소한다는 가정에 기반하며, 이는 많은 조합 최적화 문제에서 관찰되는 구조적 특성이다
저자들은 먼저 여러 크기의 문제 인스턴스에 대해 hBOA를 실행하여 모델 구조와 변수 간 거리 분포를 수집한다
그 후, 새로운 문제 인스턴스가 주어지면 저장된 거리 분포를 참조해 초기 모델 파라미터를 조정한다
이 과정에서 핵심은 ‘소프트 편향(soft bias)’을 적용하는데, 이는 기존 모델을 강제로 고정시키는 것이 아니라 확률적 가중치를 부여해 새로운 데이터에 맞게 적응하도록 한다
실험 결과는 세 가지 주요 관점에서 의미 있다 첫째, MAX‑SAT, 스핀 글라스, 최소 정점 커버와 같은 전형적인 NP‑완전 문제에서 평균 실행 횟수와 평가 횟수가 현저히 감소하였다
둘째, 이전 실행에 사용된 문제 크기와 새로운 문제 크기가 다르더라도 전이 학습 효과가 유지되었으며, 특히 큰 문제에 대해 작은 문제에서 얻은 통계를 활용했을 때도 성능 저하가 거의 없었다
셋째, 기존의 로컬 검색 강화, 파라미터 자동 조정 등과 같은 hBOA 효율화 기법과 결합했을 때 속도 향상이 거의 곱셈적으로 누적되는 현상이 관찰되었다
이러한 결과는 거리 기반 통계가 문제 구조를 충분히 포착하고, 전이 학습이 모델 초기화 단계에서 유용한 사전 정보를 제공한다는 것을 시사한다
또한 전이 학습이 hBOA의 탐색 공간을 보다 효율적으로 축소시켜, 특히 고차원·고상호작용 문제에서 계산 비용을 크게 절감할 수 있음을 보여준다
논문은 전이 학습의 적용 범위를 확대하기 위해 향후 연구 방향으로(1) 다양한 거리 함수 설계, (2) 동적 환경에서의 지속적 전이 학습, (3) 다른 확률적 모델 기반 알고리즘과의 통합 가능성을 제시한다