베이지안 네트워크 구조 동등 클래스 학습

** 베이지안 네트워크(BN)는 확률적 인과 관계를 그래프 형태로 표현하는 강력한 모델링 도구이며, 그 구조를 데이터로부터 학습하는 문제는 인공지능 및 통계학 분야에서 오랫동안 연구되어 왔다. 전통적인 구조 학습은 두 단계로 나뉜다. 첫 번째는 주어진 데이터와 사전 정보를 바탕으로 **점수 함수**를 정의하는 단계이며, 두 번째는 정의된 점수 함수를 최대화하도록 **휴리스틱 탐색**을 수행하는 단계이다. 점수 함수는 흔히 BDe(Bayesian Dirichlet equivalent)나 BIC(Bayesian Information Criterion)와 같은 형태를 띠며, 이들 함수는 **점수 동등성(score‑equivalence)**이라는 중요한 특성을 가진다. 즉, 동일한 독립성 구조를 표현하는 서로 다른 방향성을 가진 DAG(Directed Acyclic Graph)들은 점수 상에서 구분되지 않는다. 이러한 점수 동등성은 구조 학습에 두 가지 상반된 영향을 미친다. 한편으로는 점수 계산을 단순화시켜, 하나의 대표 DAG만 평가하면 된다는 장점이 있다. 반면, 다른 한편으로는 탐색 과정에서 **동일 점수를 갖는 여러 DAG**가 중복으로 탐색될 위험을 초래한다. 기존의 대부분 연구는 개별 DAG를 상태로 하는 **DAG 기반 검색 공간**을 사용한다. 이 공간에서는 삽입, 삭제, 반전과 같은 기본 연산을 통해 인접한 DAG로 이동한다. 그러나 점수 동등성을 무시하고 모든 DAG를 별개의 상태로 취급하면, 탐색 효율이 크게 떨어지고, 특히 노드 수가 늘어날수록 탐색 비용이 기하급수적으로 증가한다. 본 논문은 이러한 비효율성을 극복하기 위해 **동등 클래스(Equivalence Class)** 개념을 도입한다. 동등 클래스는 동일한 독립성 관계를 공유하는 모든 DAG를 하나의 **CPDAG(Completed Partially Directed Acyclic Graph)** 로 압축한 형태이다. CPDAG는 방향이 확정된 에지와 방향이 불확정인 에지를 동시에 포함한다. 방향이 확정된 에지는 모든 DAG에서 동일한 방향을 가지며, 불확정 에지는 해당 동등 클래스 내에서 자유롭게 방향이 바뀔 수 있음을 의미한다. 따라서 CPDAG 하나가 해당 동등 클래스에 속하는 모든 DAG를 완전히 대변한다. 논문은 CPDAG를 상태로 하는 **일반적인 검색 공간**을 체계적으로 정의한다. 주요 설계 요소는 다음과 같다. 1. **상태 정의** - 각 상태는 하나의 CPDAG이며, 이는 해당 동등 클래스에 속하는 모든 DAG를 압축한다. - CPDAG는 그래프 이론에서 “완전 부분 방향화된 비순환 그래프”로 정의되며, 기존 DAG와 달리 에지의 방향이 완전히 결정되지 않은 경우에도 유효한 상태로 인정된다. 2. **연산 집합** - 기존 DAG 기반 탐색에서 사용되는 **삽입(Insert)**, **삭제(Delete)**, **반전(Reverse)** 연산을 CPDAG에 맞게 변형한다. - **커버드 에지 반전(Covered Edge Reversal)**: 두 노드 사이에 방향이 확정된 에지가 존재하고, 그 에지가 “커버드”(즉, 부모 집합이 동일)인 경우에만 방향을 반전한다. 이는 CPDAG 내에서 동등 클래스를 유지하면서 새로운 클래스로 이동할 수 있게 한다. - **에지 방향 고정(Orient Edge)**: 불확정 에지를 특정 방향으로 고정함으로써 새로운 CPDAG를 만든다. 이 연산은 불확정 에지의 가능한 방향 중 하나를 선택하는 것이며, 선택된 방향이 사이클을 만들지 않도록 검증한다. - **에지 방향 해제(Unorient Edge)**: 반대로, 이미 방향이 확정된 에지를 다시 불확정 상태로 되돌려 탐색의 다양성을 확보한다. 3. **인접성 보장 및 완전성** - 정의된 연산을 적용하면 항상 인접한 CPDAG로 이동한다. 즉, 한 번의 연산으로 두 CPDAG 사이의 차이는 하나의 에지 방향 변화 혹은 삽입/삭제에 불과하다. - 논문은 이 연산 집합이 **연결성(connectivity)**을 만족함을 증명한다. 즉, 모든 가능한 CPDAG 사이에 연속적인 연산 시퀀스를 통해 도달할 수 있음을 보이며, 이는 탐색 알고리즘이 충분히 긴 시간 동안 실행될 경우 전역 최적 동등 클래스를 찾을 수 있음을 의미한다. 4. **점수 계산 방법** - 점수 동등성을 이용해, CPDAG에 포함된 모든 DAG에 대해 동일한 점수를 사용한다. 따라서 실제 점수 계산은 CPDAG를 대표하는 하나의 DAG(예: 모든 불확정 에지를 임의의 방향으로 지정한 DAG)를 선택해 수행한다. - 이렇게 하면 점수 계산 비용이 크게 감소하고, 연산 선택 시점에 필요한 정보도 최소화된다. 위와 같은 검색 공간 위에 **그리디 탐색(greedy search)**을 적용한다. 그리디 탐색은 현재 CPDAG에서 가능한 모든 연산을 평가하고, 점수를 가장 크게 향상시키는 연산을 선택한다. 이 과정은 다음과 같이 진행된다. - **초기화**: 빈 그래프(모든 에지가 불확정) 혹은 사전 지식에 기반한 초기 CPDAG을 설정한다. - **연산 후보 생성**: 정의된 연산 집합에 따라 현재 CPDAG에서 가능한 모든 삽입·삭제·반전·고정·해제 연산을 생성한다. - **점수 평가**: 각 후보 연산에 대해 대표 DAG의 점수를 계산한다. - **선택 및 적용**: 점수 향상이 가장 큰 연산을 선택하고, CPDAG를 업데이트한다. - **종료 조건**: 더 이상 점수를 향상시킬 연산이 없을 때(지역 최적) 혹은 사전에 정의된 최대 반복 횟수에 도달하면 종료한다. **실험 설계 및 결과** 논문은 다섯 개의 표준 베이지안 네트워크(Alarm, Asia, Insurance, Hailfinder, Child)와 다양한 샘플 크기(500, 1000, 5000)를 사용해 실험을 수행하였다. 두 가지 탐색 전략을 비교하였다. - **전통적 DAG 기반 그리디 탐색**: 삽입·삭제·반전 연산만을 사용해 DAG 공간을 탐색한다. - **제안된 CPDAG 기반 그리디 탐색**: 위에서 정의한 연산 집합을 사용해 CPDAG 공간을 탐색한다. 비교 지표는 **최종 점수(BDe/BIC)**, **탐색에 소요된 연산 횟수**, **실제 실행 시간**, 그리고 **수렴 단계**이다. 주요 관찰 결과는 다음과 같다. 1. **점수 향상** - 대부분의 경우 CPDAG 기반 탐색이 동일하거나 더 높은 최종 점수를 기록했다. 특히 복잡한 네트워크(노드 수 20~30)에서는 평균 5~10% 정도 점수 향상이 관찰되었다. 2. **연산 효율** - CPDAG 탐색은 평균 30~45% 적은 연산 횟수로 동일한 점수 수준에 도달했다. 이는 동등 클래스 내 중복 평가를 제거한 결과이다. 3. **시간 절감** - 연산 횟수 감소와 점수 계산 단순화 덕분에 실행 시간이 평균 25~40% 단축되었다. 데이터 샘플이 커질수록(예: 5000 샘플) 이 차이는 더욱 커졌다. 4. **지역 최적 회피** - DAG 기반 탐색은 종종 초기화에 따라 서로 다른 지역 최적에 머무르는 경향이 있었으며, 동일한 초기화라도 여러 번 실행하면 결과가 크게 변동했다. 반면 CPDAG 기반 탐색은 초기화에 대한 민감도가 낮아, 반복 실행 시 결과가 일관되었다. 5. **확장성** - 노드 수가 30을 초과하는 대규모 네트워크에서도 CPDAG 탐색은 여전히 효율적으로 동작했으며, DAG 기반 탐색은 메모리 및 시간 제한으로 인해 실행이 어려운 경우가 있었다. **이론적 기여** 논문은 제안된 연산 집합이 **완전성(complete)**을 만족함을 정리와 증명을 통해 제시한다. 즉, 어떤 두 CPDAG 사이에도 연속적인 연산 시퀀스로 도달할 수 있음을 보이며, 이는 탐색 알고리즘이 충분히 긴 시간 동안 실행될 경우 전역 최적 동등 클래스를 반드시 탐색할 수 있음을 보장한다. 또한, 점수 동등성을 활용한 **점수 계산 최소화** 원리를 명시적으로 정량화하여, 기존 DAG 기반 방법 대비 계산 복잡도가 O(1)에서 O(k) (k는 연산 후보 수)로 감소함을 이론적으로 설명한다. **실용적 함의** 제안된 CPDAG 기반 검색 공간은 그리디 탐색뿐 아니라 탭우드 서치, 유전 알고리즘, 시뮬레이티드 어닐링 등 다양한 휴리스틱 탐색 기법에도 그대로 적용 가능하다. 즉, 점수 동등성을 갖는 모든 베이지안 네트워크 구조 학습 방법에 대해 **검색 효율을 크게 향상시킬 수 있는 일반 프레임워크**를 제공한다. 이는 특히 고차원 데이터, 제한된 계산 자원, 혹은 실시간 학습이 요구되는 응용 분야에서 큰 가치를 가진다. **결론** 베이지안 네트워크 구조 학습에서 점수 동등성을 고려하지 않는 전통적 DAG 기반 탐색은 중복 평가와 지역 최적에 빠지는 문제를 안고 있다. 본 논문은 이러한 문제를 해결하기 위해 동등 클래스를 직접 탐색하는 CPDAG 기반 검색 공간을 정의하고, 그 위에 그리디 탐색을 적용하였다. 실험과 이론적 분석을 통해 제안된 방법이 **탐색 효율, 계산 비용, 최종 모델 품질** 측면에서 기존 방법을 능가함을 입증하였다. 앞으로의 연구는 이 프레임워크를 다른 고급 탐색 기법과 결합하거나, 동등 클래스 탐색을 위한 새로운 점수 함수 설계와 같은 확장 방향을 제시한다. **