피드포워드 네트워크의 계층성 측정

초록

본 논문은 방향성 비순환 그래프(Feedforward DAG)를 대상으로 ‘계층성’이라는 개념을 정량화한다. 저자는 계층적 구조가 만족해야 할 세 가지 조건—순서(order), 예측가능성(predictability), 피라미드 형태(pyramidal)—을 제시하고, 이들을 정보 이론적 엔트로피로 표현한 두 개의 엔트로피(전방 흐름 엔트로피와 역방향 엔트로피)를 이용해 ‘계층 지수(Hierarchy Index)’를 정의한다. 이 지수는 완전한 트리 구조를 최대 계층성, 역트리를 최대 반계층성으로, 선형 체인이나 완전 연결 DAG는 비계층성(값 0)으로 구분한다. 다양한 예시를 통해 계층·비계층·반계층 구조를 구분하고, 기존의 순서 이론과 차별화된 정량적 척도를 제공한다.

상세 분석

논문은 먼저 계층성을 ‘순서’와는 구별되는 개념으로 정의한다. 순서는 부분 순서 집합의 수학적 정의에 기반하지만, 계층성은 추가적으로 (1) 정의성 조건—각 비최상위 노드가 정확히 하나의 선행 노드만을 갖는 단일 경로성, (2) 피라미드 조건—노드가 레이어별로 증가하는 수를 가지며, 하위 레이어일수록 노드 수가 많아지는 구조적 제약을 요구한다. 필요에 따라 (3) 대칭 조건—같은 레이어 내 노드들의 출력 차수가 동일한 k-ary 트리 형태를 추가적으로 고려한다.

이러한 조건을 만족하는 그래프는 본질적으로 ‘피드포워드 트리’이며, 이는 완전한 계층 구조의 이상형으로 간주된다. 저자는 이 이상형에서 벗어나는 정도를 정량화하기 위해 두 종류의 엔트로피를 도입한다. 첫 번째는 **전방 엔트로피(H₁)**로, 루트에서 각 리프까지의 경로 수와 그 분포를 기반으로 하여 ‘전방 흐름의 다양성’을 측정한다. 두 번째는 **역방향 엔트로피(H₂)**로, 리프에서 루트로 역추적할 때 가능한 전이 경로의 불확실성을 평가한다.

계층 지수는
\