Incentive Mechanism Design for Federated Learning: Hedonic Game Approach

📝 Abstract

Incentive mechanism design is crucial for enabling federated learning. We deal with clustering problem of agents contributing to federated learning setting. Assuming agents behave selfishly, we model their interaction as a stable coalition partition problem using hedonic games where agents and clusters are the players and coalitions, respectively. We address the following question: is there a family of hedonic games ensuring a Nash-stable coalition partition? We propose the Nash-stable set which determines the family of hedonic games possessing at least one Nash-stable partition, and analyze the conditions of non-emptiness of the Nash-stable set. Besides, we deal with the decentralized clustering. We formulate the problem as a non-cooperative game and prove the existence of a potential game.

💡 Analysis

Incentive mechanism design is crucial for enabling federated learning. We deal with clustering problem of agents contributing to federated learning setting. Assuming agents behave selfishly, we model their interaction as a stable coalition partition problem using hedonic games where agents and clusters are the players and coalitions, respectively. We address the following question: is there a family of hedonic games ensuring a Nash-stable coalition partition? We propose the Nash-stable set which determines the family of hedonic games possessing at least one Nash-stable partition, and analyze the conditions of non-emptiness of the Nash-stable set. Besides, we deal with the decentralized clustering. We formulate the problem as a non-cooperative game and prove the existence of a potential game.

📄 Content

인센티브 메커니즘 설계는 연합 학습(Federated Learning)을 실제로 구현하고 운영할 수 있게 만드는 핵심 요소이다. 연합 학습 환경에서는 여러 개별 데이터 소유자(에이전트)들이 자신의 로컬 데이터를 사용해 모델 업데이트를 수행하고, 그 결과를 중앙 서버에 전송함으로써 전체 모델을 공동으로 학습한다. 이러한 과정에서 각 에이전트는 자신의 계산 자원과 프라이버시 보호라는 비용을 감수해야 하므로, 자신에게 유리한 보상이 제공되지 않을 경우 협력에 소극적일 수 있다. 따라서 에이전트들이 자발적으로 참여하도록 유도하는 인센티브 메커니즘을 설계하는 것이 매우 중요하다.

우리는 특히 연합 학습에 기여하는 에이전트들을 클러스터링하는 문제에 초점을 맞춘다. 여기서 클러스터링이란, 비슷한 특성을 가진 에이전트들을 하나의 그룹(클러스터)으로 묶어, 해당 그룹 내에서 보다 효율적인 모델 학습 및 통신을 가능하게 하는 과정을 의미한다. 예를 들어, 데이터 분포가 유사한 스마트폰 사용자들을 하나의 클러스터로 묶으면, 해당 클러스터 내에서 모델 업데이트가 더 빠르게 수렴할 수 있다.

하지만 실제 상황에서는 에이전트들이 **이기적(selfish)**인 행동을 보일 가능성이 크다. 즉, 각 에이전트는 자신의 이익을 최우선으로 고려하며, 다른 에이전트와의 협력 관계를 선택할 때도 자신에게 가장 큰 보상을 제공하는 옵션을 선호한다. 이러한 이기적 행동을 정량적으로 모델링하기 위해 우리는 **헤도닉 게임(hedonic games)**이라는 게임 이론의 한 분야를 활용한다. 헤도닉 게임에서는 각 플레이어(여기서는 에이전트)가 속한 연합(coalition) 자체에 대한 선호도를 가지고 있으며, 연합에 포함된 다른 플레이어들의 구성에 따라 자신의 만족도가 달라진다. 따라서 에이전트와 클러스터를 각각 플레이어와 연합으로 간주함으로써, 에이전트들이 어떤 클러스터에 속하고자 하는지를 자연스럽게 표현할 수 있다.

이러한 모델링을 바탕으로 우리는 다음과 같은 핵심 질문을 제기한다.

“어떤 헤도닉 게임의 가족(family)이 최소 하나의 내시 안정(Nash‑stable) 연합 파티션을 보장하는가?”

내시 안정성은 게임 이론에서 매우 중요한 개념으로, 현재의 연합 파티션에서 어느 한 플레이어도 자신의 현재 연합을 떠나 다른 연합으로 이동함으로써 자신의 만족도를 높일 수 없는 상태를 의미한다. 즉, 모든 에이전트가 현재 속한 클러스터에 대해 이탈 의향이 없으며, 따라서 파티션 자체가 자발적으로 유지될 수 있는 상황을 말한다.

이 질문에 답하기 위해 우리는 **‘내시‑안정 집합(Nash‑stable set)’**이라는 새로운 개념을 정의한다. 내시‑안정 집합은 “적어도 하나의 내시‑안정 파티션을 갖는 헤도닉 게임들의 전체 집합”을 의미한다. 다시 말해, 어떤 특정한 선호 구조를 가진 헤도닉 게임이 이 집합에 포함된다면, 그 게임은 반드시 내시‑안정 파티션을 하나 이상 가질 것이 보장된다.

우리는 먼저 내시‑안정 집합이 비공집합(non‑empty)인지 여부를 판단하기 위한 충분조건과 필요조건을 체계적으로 분석한다. 구체적으로, 에이전트들의 선호도가 **단조(monotonic)**하거나 **대칭(symmetric)**인 경우, 혹은 각 연합에 대한 합리적(consistent) 평가 함수가 존재하는 경우 등에 대해 수학적 증명을 제공한다. 이러한 조건들이 충족될 때, 내시‑안정 집합은 반드시 최소 하나의 원소를 포함하게 되며, 따라서 해당 헤도닉 게임은 안정적인 클러스터링 결과를 도출할 수 있다.

또한, 우리는 분산형(Decentralized) 클러스터링 문제에도 관심을 둔다. 중앙 집중식 서버가 모든 정보를 통제하지 못하는 상황—예를 들어, 네트워크 대역폭이 제한되거나 프라이버시 규제가 엄격한 경우—에서는 각 에이전트가 스스로 의사결정을 내려야 한다. 이를 위해 우리는 클러스터링 문제를 비협력 게임(non‑cooperative game) 형태로 공식화한다. 각 에이전트는 자신의 선호와 비용을 고려해 어느 클러스터에 속할지를 선택하고, 그 선택이 다른 에이전트들의 선택에 영향을 미치는 전략적 상호작용을 모델링한다.

비협력 게임으로서의 클러스터링 모델을 분석한 결과, 우리는 이 게임이 **잠재 게임(potential game)**임을 증명한다. 잠재 게임이란, 모든 플레이어의 개별 유틸리티 변화가 하나의 **잠재 함수(potential function)**의 변화와 정확히 일치하는 게임을 말한다. 잠재 함수가 존재하면, 베스트 리스폰스 다이내믹스(best‑response dynamics) 혹은 그레이디언트 상승(gradient ascent) 같은 간단한 반복 알고리즘을 통해 게임이 수렴하는 잠재 균형(potential equilibrium)—즉, 내시‑안정 파티션—을 찾을 수 있다. 따라서 우리 모델은 이론적으로도 실용적으로도 분산 환경에서 안정적인 클러스터링을 달성할 수 있는 기반을 제공한다.

요약하면, 본 연구는 다음과 같은 주요 기여를 한다.

1. 헤도닉 게임 기반의 연합 파티션 모델을 제시하여, 연합 학습에 참여하는 에이전트들의 이기적 행동을 정량적으로 분석한다.
2. 내시‑안정 집합이라는 새로운 개념을 도입하고, 그 비공집합성을 보장하는 충분·필요 조건을 수학적으로 규명한다.
3. 분산형 클러스터링을 비협력 게임으로 공식화하고, 해당 게임이 잠재 게임임을 증명함으로써, 실시간으로 안정적인 클러스터링 파티션을 찾을 수 있는 알고리즘적 가능성을 제시한다.

이러한 결과는 연합 학습 시스템 설계자들에게 인센티브 메커니즘을 어떻게 구성해야 에이전트들이 자발적으로 협력하고, 동시에 시스템 전체의 학습 효율성을 극대화할 수 있는지에 대한 중요한 통찰을 제공한다. 앞으로는 제안된 이론적 프레임워크를 실제 모바일 디바이스나 사물인터넷(IoT) 환경에 적용해 보는 실험적 연구와, 보다 복잡한 선호 구조(예: 다중 목표 최적화)에도 확장 가능한 일반화 이론을 개발하는 방향으로 연구를 진행할 계획이다.