구조적 다양성 측정을 위한 엔트로피 기반 앙상블 설계

본 논문은 “구조적 다양성”이라는 개념을 도입해, 동일한 학습 데이터에 대해 서로 다른 구조적 파라미터(활성화 함수, 은닉 노드 수, 학습률)를 가진 다수의 신경망 분류기를 조합한 앙상블의 성능을 분석한다. 연구자는 생태학에서 종 다양성을 측정하기 위해 사용되는 Shannon 엔트로피, Simpson 지수, Berger‑Parker 지수를 차용해, 각 분류기를 하나의 “종”으로 간주하고 그 비율 p_i 를 계산한다. 이를 통해 엔트로피 기반 다양성 지표를 0–1 구간으로 정규화하고, 다양성이 높을수록 앙상블의 불확실성이 커진다고 가정한다. 구조적 다양성의 정량화는 각 분류기의 파라미터를 이진 문자열(Identity Structure, IDS)로 변환한 뒤, 동일 문자열을 같은 종으로 매핑하는 방식으로 수행된다. 예를 들어, 학습률 0.01, 은닉 노드 9, 활성화 함수 sigmoid인 분류기는 “0010110…”과 같은 이진 코드로 표현된다. 이렇게 얻어진 코드 집합을 기반으로 p_i 를 구하고, Shannon 엔트로피 H = –∑p_i log p_i, Simpson D = 1–∑p_i², Berger‑Parker BP = max(p_i) 를 계산한다. 각 지수는 최대값을 1로 정규화해 비교 가능하게 만든다. 다음 단계에서는 유전 알고리즘(GA)을 활용해 120개의 사전 학습된 MLP 중 21개의 분류기를 선택한다. GA의 적합도 함수는 “앙상블 정확도 – 목표 정확도”의 제곱형식으로 정의되며, 목표 정확도는 실험 초기에 설정된 값이다. GA는 교차, 돌연변이, 선택 과정을 반복해 비용 함수를 최소화하는 최적 조합을 탐색한다. 최종 선택된 21개의 분류기는 다양성 지표가 높은 조합으로, 투표(voting) 방식을 통해 최종 예측을 수행한다. 투표는 다수결 원칙을 적용하며, 각 분류기의 출력 확률이 0.5 이상이면 1, 이하이면 0으로 이진화한다. 실험 데이터는 남아프리카의 ‘interstate conflict’ 데이터셋으로, 7개의 입력 특성(동맹, 연속성, 거리, 군사력, 능력, 민주주의, 의존성)과 1개의 이진 출력(분쟁 여부)으로 구성된다. 총 27,737건 중 26,846건은 평화, 875건은 분쟁 사례이다. 모든 특성은 0–1 구간으로 정규화했으며, 훈련·검증·테스트 집합으로 무작위 분할하였다. 데이터 자체는 불균형이 심하지만, 논문에서는 클래스 가중치나 오버샘플링 등에 대한 언급이 없다. 결과는 11개의 GA 최적화된 앙상블에 대해 다양성 지표와 정확도를 그래프로 제시한다. Shannon, Simpson, Berger‑Parker 각각에 대해 다양성 지수가 낮을 때는 정확도가 60% 이하로 낮았으며, 다양성이 증가함에 따라 정확도가 80% 이상까지 상승한다는 양의 상관관계가 관찰되었다. 특히 Berger‑Parker 지수가 가장 높은 경우(즉, 가장 지배적인 종 비중이 낮을 때) 정확도가 최고치를 기록했다. 하지만 논문은 다음과 같은 한계를 가지고 있다. 첫째, IDS를 이진화하는 구체적 절차와 문자열‑종 매핑 규칙이 명시되지 않아 재현이 어렵다. 둘째, GA 적합도 함수에 목표 정확도가 어떻게 설정됐는지, 목표값이 실제 데이터에 맞게 조정됐는지 불분명하다. 셋째, 실험 결과에 대한 통계적 검증(예: t‑검정, 신뢰구간)이나 베이스라인(단일 MLP, 무작위 앙상블)과의 비교가 전혀 제시되지 않아, 다양성 지표가 실제 성능 향상에 기여한다는 주장의 일반화 가능성이 제한된다. 넷째, 엔트로피와 불확실성의 관계를 “종이 많을수록 정보량이 증가한다”는 식으로 해석했지만, 실제 예측 불확실성은 모델 출력 확률 분포의 엔트로피와 직접 연결되는 것이 일반적이다. 따라서 구조적 다양성을 엔트로피로 측정하는 것이 예측 정확도와 어떤 인과관계를 갖는지 추가적인 분석이 필요하다. 결론적으로, 이 연구는 구조적 다양성을 엔트로피 기반 지표로 정량화하고, GA를 통해 다양성을 최대화하는 앙상블을 설계한다는 새로운 아이디어를 제시한다. 그러나 방법론적 상세 설명 부족, 실험 설계의 통계적 엄밀성 결여, 그리고 기존 앙상블 기법과의 비교 부재가 주요 약점으로 작용한다. 향후 연구에서는 IDS 정의를 명확히 하고, 다양성 지표와 실제 성능 사이의 인과관계를 통계적으로 검증하며, 다양한 데이터셋과 베이스라인을 포함한 광범위한 실험을 수행함으로써 본 접근법의 실용성을 검증할 필요가 있다.