전이 엔트로피 기반 피드백으로 작은 CNN의 성능을 대폭 향상시키다

초록

본 논문은 AlexNet 구조의 소규모 합성곱 신경망에 전이 엔트로피(Transfer Entropy)를 이용해 피드백 연결을 추가함으로써 CIFAR‑10 이미지 분류 정확도를 85 %에서 95 % 수준으로 끌어올렸다. 피드백 연결은 층 간 전이 엔트로피가 일정 임계값 이하인 경우에만 생성되며, 가중치는 기존 최소 전방 가중치 이하로 제한한다. 실험 결과, 피드백이 없는 경우와 비교해 10 % 이상의 성능 향상이 일관되게 나타났으며, 파라미터 Φ에 대한 강인성도 확인되었다.

상세 분석

이 연구는 현대 딥러닝 모델이 대부분 일방향(feed‑forward) 구조에 의존하는 반면, 생물학적 뇌는 풍부한 재귀 및 피드백 연결을 갖는다는 점에 착안한다. 저자들은 이러한 차이를 메우기 위해, 기존 AlexNet(8층, 5개의 합성곱 층) 구조에 층 2~5 사이에 피드백 연결을 선택적으로 삽입한다. 피드백 연결의 존재 여부는 각 뉴런 쌍(i, j) 사이의 전이 엔트로피 Tᵢ→ⱼ를 계산해 평균값 ˜Tᵢ→ⱼ가 사전 정의된 임계값 Φ보다 작을 때만 활성화된다. 전이 엔트로피는 이진화된 활성화 이벤트(yᵢ = 1 if gᵢ > 0.001) 기반으로, 모든 이미지 클래스에 대해 평균을 취해 얻는다.

피드백 가중치는 식 fⱼ→ᵢ = w_min·|β−α|/L 로 정의되며, 여기서 w_min은 학습된 전방 가중치 중 최솟값, β와 α는 각각 피드백 연결의 출발·도착 층 번호, L은 고려 가능한 최대 층 차(=4)이다. 이 방식은 피드백 가중치를 전방 가중치보다 현저히 작게 유지하면서도, 층 간 거리가 멀수록 상대적으로 큰 가중치를 부여해 장거리 피드백을 강조한다.

성능 평가에서는 CIFAR‑10 데이터셋(60 k 학습, 10 k 테스트)을 사용했으며, 피드백이 없는 기본 AlexNet은 약 85 % 정확도를 보였다. Φ = 0.9일 때 피드백을 추가한 FB‑AlexNet은 95 %에 육박하는 정확도를 기록, 이는 동일 데이터셋에서 최신 대규모 모델들이 달성하는 수준과 동등하거나 상회한다. 파라미터 Φ를 0.5~0.9 구간에서 변동시켜도 성능 저하가 거의 없으며, 과도한 피드백(Φ ≈ 1)에서는 자기흥분으로 인해 성능이 급격히 떨어진다.

제어 실험으로는 피드백 가중치를 무작위로 섞은 경우, 경로별 가중치를 동일하게 설정한 경우, 전체 피드백 가중치를 스케일링한 경우, 그리고 피드백 가중치를 전방 가중치에 합산해 피드백 자체를 제거한 경우 등을 수행했다. 무작위 섞음은 18 % 수준으로 급격히 성능을 저하시키고, 균일 가중치는 87 % 정도의 미미한 향상만을 보였다. 스케일링 실험에서는 λ = 1.0이 최적이며, 이를 벗어나면 성능이 다시 하락한다. 전방 가중치에 피드백 가중치를 단순히 합산한 ‘증강 전방’ 모델은 88 %에 머물러, 전이 엔트로피 기반 피드백이 제공하는 선택적 증폭 효과가 핵심임을 확인했다.

네트워크 토폴로지 분석에서는 피드백 도입 후 평균 전이 엔트로피가 감소하고, 특성 경로 길이(Characteristc Path Length)가 4.2→2.1로 단축, 전역 효율(Global Efficiency)이 0.40→0.67로 상승했다. 또한 로컬 활성 정보 저장(Local Active Information Storage)이 층별로 크게 증가했으며, 이는 피드백이 각 뉴런의 자체 동역학에 미치는 영향을 강화함을 의미한다. 이러한 정량적 변화는 피드백이 정보 흐름을 효율적으로 재배치하고, 장거리 경로를 강화함으로써 분류 성능을 끌어올린다는 가설을 뒷받침한다.

결론적으로, 전이 엔트로피를 이용한 피드백 설계는 작은 합성곱 신경망에서도 뇌와 유사한 재귀 구조의 장점을 구현할 수 있음을 보여준다. 이는 모델 규모를 크게 늘리지 않고도 고성능을 달성하려는 경량화 연구에 중요한 통찰을 제공한다.