증분 베이지안 최적화 알고리즘 iBOA

본 논문은 베이지안 최적화 알고리즘(BOA)의 인구 기반 구현을 탈피하여, 인구 없이 베이지안 네트워크 자체를 증분적으로 학습·샘플링하는 새로운 알고리즘인 iBOA(incremental BOA)를 제안한다. 기존 BOA는 전체 후보 집단을 유지하면서 선택·학습·샘플링을 반복하는데, 이는 메모리와 계산 비용이 크게 증가한다는 한계가 있다. 반면, iBOA는 매 세대마다 소수의 후보 해(예: 2~5개)만을 생성·평가하고, 이 정보를 이용해 네트워크의 구조와 파라미터를 동시에 업데이트한다. 논문 초반부에서는 증분형 EDA의 배경을 정리한다. PBIL과 cGA는 단일 변수의 확률 벡터만을 유지해 메모리를 절감했지만, 변수 간 상호작용을 모델링하지 못한다. 최적 의존 트리(EDAs with optimal dependency trees)는 2차 상호작용을 포착할 수 있으나, 다중 변수 종속성을 완전히 표현하기엔 부족하다. 이러한 한계를 극복하고자 저자들은 베이지안 네트워크를 채택한다. 베이지안 네트워크는 변수 집합 X₁…Xₙ에 대해 구조(부모-자식 관계)와 조건부 확률 파라미터를 동시에 정의함으로써, 복잡한 다변량 종속성을 효율적으로 인코딩한다. 다음으로 BOA의 기본 흐름을 설명한다. BOA는 초기 인구를 무작위로 생성하고, 선택된 우수 해들로부터 베이지안 네트워크를 학습한다(구조는 BIC 점수를 이용한 그리디 탐색, 파라미터는 최대우도 추정). 학습된 네트워크를 통해 새로운 후보 해를 샘플링하고, 이를 인구에 통합한다. 이러한 과정이 수렴 조건을 만족할 때까지 반복된다. iBOA의 핵심은 위 과정을 인구 없이 수행하는 것이다. iBOA는 (1) **구조 업데이트**와 (2) **파라미터 업데이트**를 각각 증분 방식으로 구현한다. 구조 업데이트에서는 현재 네트워크에 포함된 변수 쌍들의 조건부 상호정보를 점진적으로 추정한다. 새로운 해가 들어올 때마다 해당 해에 포함된 변수-부모 조합의 카운트를 업데이트하고, 이를 기반으로 BIC 점수를 재계산한다. 점수 향상이 가능한 에지를 추가하거나, 점수 감소가 감지되면 에지를 제거한다. 파라미터 업데이트는 각 변수-부모 조합에 대한 카운트를 유지하고, 새로운 해가 들어올 때마다 해당 카운트를 증감시켜 조건부 확률을 즉시 갱신한다. 학습률 λ와 감쇠율 α는 인구 크기를 모방하는 역할을 하며, 작은 값일수록 큰 인구와 유사한 보수적 업데이트가 이루어진다. iBOA의 전체 절차는 다음과 같다. (1) 초기 확률 벡터를 균등분포(0.5)로 설정하고, 베이지안 네트워크를 빈 그래프로 시작한다. (2) 현재 모델을 이용해 소수의 후보 해를 샘플링한다. (3) 샘플링된 해를 평가하고, 가장 좋은 해를 선택한다. (4) 선택된 해를 이용해 구조와 파라미터를 증분 업데이트한다. (5) 수렴 조건(예: 최적 해 도달, 변화량 미미 등)이 만족될 때까지 2~4 과정을 반복한다. 실험에서는 iBOA를 여러 **거의 분해 가능한** 문제에 적용하였다. 대표적인 테스트베드로는 (a) **concatenated trap** 문제(각 블록이 독립적인 트랩 함수), (b) **hierarchical if‑and‑only‑if** 문제(다중 레벨의 논리 연산), (c) **binary MAXSAT** 변형 등이 있다. 실험 결과, iBOA는 인구 기반 BOA와 비슷한 수렴 속도와 성공률을 보였으며, 메모리 사용량은 인구 크기 N에 비해 O(n) 수준으로 크게 절감되었다. 특히, 구조가 복잡한 문제에서 iBOA는 트리 기반 EDA보다 월등히 좋은 성능을 나타냈다. 논문의 마지막 부분에서는 iBOA의 장단점을 논의한다. 장점으로는 (1) 메모리 효율성, (2) 제한 없는 베이지안 네트워크를 통한 다변량 종속성 모델링, (3) 인구 크기 파라미터를 학습률로 대체함으로써 유연한 탐색·수렴 조절이 가능함을 들었다. 단점으로는 구조 업데이트 시 매 반복마다 O(n²) 정도의 연산이 필요해 차원이 매우 큰 경우 계산 비용이 부담될 수 있다는 점을 지적한다. 이를 해결하기 위한 향후 연구 방향으로는 (i) 에지 후보를 제한하는 휴리스틱, (ii) 샘플링 기반 근사 구조 탐색, (iii) 연속형 변수와 다중 목표 최적화에 대한 확장 등을 제시한다. 결론적으로, iBOA는 인구 기반 EDA의 메모리·시간 제약을 극복하면서도 베이지안 네트워크의 강력한 표현력을 유지하는 증분형 최적화 기법으로, 복잡한 종속성을 가진 대규모 문제 해결에 새로운 가능성을 열어준다.