다양성으로 극대화된 신경망 성능

초록

본 연구는 흥분성 네트워크에서 개별 뉴런의 임계값(흥분성) 차이가 전체 시스템의 동적 범위와 정보 처리 능력을 크게 향상시킨다는 것을 실증한다. 이질적인 뉴런 집단은 특수화된 ‘전문가’와 일반 ‘비전문가’로 구성되며, 두 집단이 상호 보완적으로 작용해 단일 유형만 있을 때보다 두 배 이상의 성능을 달성한다. 특히, 임계점 근처에서 발생하는 삼중임계(tricritical) 현상이 최적의 코딩 효율을 제공한다. 이러한 결과는 균일, 이중모드, 감마 분포 등 다양한 임계값 분포와 억제성 뉴런이 포함된 네트워크에서도 일관되게 나타난다.

상세 분석

본 논문은 SIRS(감수성‑감염‑불응‑감수성) 모델을 기반으로 한 이산 시간 흥분성 네트워크를 이용해, 노드별 임계값 θ 가 이질적으로 분포될 때 시스템의 입력‑출력 특성이 어떻게 변하는지를 정량적으로 분석한다. θ는 주변 활성 뉴런으로부터 최소 몇 번의 동시 자극을 받아야 발화하는지를 정의하며, θ = 1인 ‘비통합자(non‑integrator)’와 θ = 2인 ‘통합자(integrator)’를 혼합한 이중모드 분포를 기본 사례로 삼았다. 네트워크는 평균 차수 K = 50, 규모 N = 5 000인 에르되시‑레니 무작위 그래프이며, 전이 확률 λ과 외부 입력률 h를 조절한다.

동적 범위 Δ는 출력 발화율 F가 10 %와 90 % 사이를 차지하는 입력 h 구간의 로그 비율로 정의되며, 이는 신경계가 다양한 자극 강도를 구분할 수 있는 능력을 나타낸다. 결과는 다음과 같다. 첫째, λ가 임계값 λ_c 이하일 때 이질 네트워크는 동적 범위가 크게 확대되며, 특히 비통합자 집단이 통합자 집단에 비해 약 15 dB 높은 Δ를 보인다. 이는 비통합자가 낮은 자극에도 쉽게 발화함으로써 약한 입력을 증폭시키고, 동시에 통합자는 높은 임계값으로 인해 네트워크 전체의 임계점 전이를 지연시켜 민감도를 유지한다는 상호 보완 메커니즘에 기인한다.

둘째, θ 분포 비율을 연속적으로 변화시켰을 때 λ_c와 최대 감수성 χ_max이 두 서브팝ulation에 대해 서로 다른 경로를 따라 증가한다. 이 두 곡선이 교차하는 지점에서 연속(2차) 전이와 불연속(1차) 전이가 동시에 존재하는 삼중임계(tricritical) 현상이 나타난다. 삼중임계점에서는 Δ_max가 약 40 dB에 달해 동질 네트워크 대비 두 자릿수 이상 향상된다.

셋째, 균일 분포(θ = 1 ~ θ_max)와 감마 분포(형태 매개변수 a, 스케일 b)에서도 다중 임계점(multiple percolation)이 관찰된다. 균일 분포에서는 서브팝ulation마다 서로 다른 λ_c가 존재해 여러 번의 감수성 피크가 나타나며, 전체 네트워크는 두 개의 주요 피크만을 보인다. 감마 분포에서는 파라미터 조합에 따라 전체 네트워크가 개별 서브팝ulation을 능가하는 Δ를 달성한다.

마지막으로, 억제성 뉴런(전체의 20 %)을 포함한 혼합 네트워크에서도 동일한 최적화 현상이 유지된다. 억제는 약한 입력에 대한 발화 급증을 억제해 초기 포화 현상을 방지하지만, 동시에 전체 동적 범위를 감소시키는 효과와 상쇄되어 최적 λ에서 여전히 높은 Δ를 유지한다.

이러한 일련의 결과는 네트워크 수준에서 이질성이 단순히 ‘잡음’이 아니라, 정보 코딩 효율을 극대화하는 구조적·동역학적 자산임을 강력히 시사한다.