소셜 해마 메모리 학습

본 논문은 사회적 학습(social learning)의 핵심 메커니즘인 경험 추상화·기억 형성·지식 재사용을 인공지능 시스템에 적용한 새로운 패러다임, 즉 사회적 기계 학습(social machine learning, SML)을 제시한다. 특히 연합 학습(Federated Learning, FL)을 기반으로 하면서, 기존의 이기종 FL 방법이 모델 파라미터 혹은 중간 표현을 공유함으로써 발생하는 프라이버시 위험과 높은 통신·연산 비용을 극복하고자 한다. SoHip(Social Hippocampus Memory Learning)은 네 가지 주요 모듈로 구성된다. 첫 번째 모듈인 ‘개인 단기 기억 추출(Individual Short‑Term Memory Abstraction)’에서는 각 클라이언트가 로컬 데이터 배치를 특징 추출기 Fi를 통해 Zti를 얻고, 경량 인코더 Ei를 통해 공유 메모리 차원 m으로 압축한다. 배치 평균 \(\bar{z}_{ti}\)에 대해 경량 게이트 GS를 적용해 차원별 중요도 αS,ti를 산출하고, 이를 곱해 단기 기억 MS,ti를 만든다. 이 과정은 원본 데이터와 고차원 특징을 직접 전송하지 않으면서도 최신 경험을 요약한다. 두 번째 모듈인 ‘해마 영감 장기 기억 통합(Hippocampus‑Inspired Memory Consolidation)’에서는 현재 단기 기억 MS,ti와 이전 장기 기억 ML,t‑1,i를 연결(concatenate)한 뒤, 입력 게이트 αin, 망각 게이트 αf, 출력 게이트 αo를 각각 선형 게이트로 계산한다. 업데이트 식 \(ML,ti = αo,ti ⊙ (αin,ti·MS,ti + αf,ti·ML,t‑1,i)\) 는 인간 해마가 새로운 경험을 선택적으로 저장하고 오래된 기억을 보존하는 메커니즘을 모방한다. 이로써 비IID 데이터와 비동질적 모델 구조에서도 지속적인 지식 축적이 가능해진다. 세 번째 모듈 ‘개인‑집단 기억 융합(Individual‑Collective Memory Fusion)’에서는 중앙 서버가 모든 클라이언트의 최신 장기 기억을 집계해 집단 장기 기억 Mt를 생성한다. 각 클라이언트는 Mt와 자신의 ML,ti를 결합해 강화된 기억 표현을 만든 뒤, 이를 로컬 분류기 Hi의 입력으로 사용한다. 이렇게 하면 개별 모델이 집단 지식을 직접 활용해 예측 정확도를 높일 수 있다. 네 번째 모듈 ‘집단 기억 집계(Collective Memory Aggregation)’에서는 클라이언트가 업데이트된 ML,ti를 서버에 전송하고, 서버는 단순 평균 혹은 가중 평균을 통해 새로운 Mt를 생성한다. 이 과정은 매 라운드마다 반복되며, 메모리 벡터 자체가 고정된 차원 m을 갖기 때문에 통신량이 파라미터 기반 FL에 비해 크게 감소한다. 이론적 측면에서 저자들은 SoHip의 수렴성을 기존 FL 이론에 맞춰 증명하고, 메모리 자체가 원본 데이터와 모델 파라미터에 대한 역전파 가능성을 차단함을 보였다. 또한, 메모리 벡터에 차등 프라이버시(DP) 메커니즘을 적용하면 추가적인 프라이버시 보장을 얻을 수 있음을 논의한다. 실험은 두 개의 공개 벤치마크(예: CIFAR‑10 변형과 의료 영상 데이터)와 7개의 최신 이기종 FL 베이스라인(FedAvg, FedProx, FedDyn, FedProto, FedKD 등)을 대상으로 수행되었다. SoHip은 평균 4.2%~8.78%의 정확도 향상을 기록했으며, 통신량은 기존 방법 대비 70% 이상 절감되었다. 특히 모델 아키텍처가 크게 다른 클라이언트들 간에도 성능 격차가 최소화되어, 모델 이기종성에 대한 강인함을 입증하였다. 결론적으로, SoHip은 기억을 지식 전달 매개체로 삼아 데이터·모델 프라이버시를 보장하면서도 효율적인 협업 학습을 가능하게 하는 혁신적인 프레임워크이다. 향후 연구에서는 메모리 압축 기법, 동적 게이트 설계, 그리고 다양한 도메인(예: 자연어 처리, 시계열 데이터)으로의 확장 가능성을 탐색할 여지가 있다.