다중 에이전트 공정 환경으로 공정한 알고리즘 설계

초록

본 논문은 다중 에이전트·다단계 의사결정 시스템에서 공정성을 평가하고 개선할 수 있는 시뮬레이션 플랫폼 MAFE를 제안한다. 대출, 의료, 교육 세 분야에 실제 데이터 기반 환경을 구축하고, 보상·공정성 구성 함수를 분해 가능한 형태로 제공함으로써 MARL 알고리즘의 공정성‑성능 트레이드오프를 정량화한다.

상세 분석

MAFE는 기존 단일‑에이전트 혹은 중앙집중형 다중‑에이전트 시뮬레이터가 갖는 두 가지 한계를 극복한다. 첫째, 실제 사회 시스템에서 관찰되는 이질적인 이해관계자(보험사, 병원, 중앙계획자 등)를 독립적인 에이전트로 모델링하고, 각 에이전트가 부분 관측과 개별 목표를 갖도록 설계하였다. 둘째, 기존 환경이 제공하던 단일 스칼라 보상 대신 “보상 구성 함수(c(R))”와 “공정성 구성 함수(c(F))”라는 벡터 형태의 원시 지표를 출력한다. 이러한 원시 지표는 사망자 수, 인구 규모, 지역별 사망자 수 등 구체적인 카운트를 포함하므로, 연구자는 사후에 다양한 파생 메트릭(예: 전체 사망률, 지역별 격차, 그룹별 차이율 등)을 자유롭게 정의하고 집계할 수 있다. 이는 특히 시간에 따라 누적되는 불공정성을 측정할 때 필수적인 설계이다.

프레임워크는 Dec‑POMDP를 확장한 형태⟨N, S, {Aₙ}, {Oₙ}, T, γ, {c(R)ₙ}, {c(F)ₙ}⟩로 정의되며, N은 에이전트 수, S는 전역 상태, Aₙ·Oₙ는 각각 에이전트 n의 행동·관측 공간, T는 전이 함수, γ는 할인율이다. c(R)ₙ과 c(F)ₙ은 각각 보상과 공정성에 대한 원시 요소를 반환한다. 이 설계는 (1) 에이전트별 목표를 독립적으로 설정하고 (2) 공정성 목표를 전역 혹은 지역·그룹 수준으로 세분화할 수 있게 한다.

세 가지 도메인 구현은 모두 공개 데이터(Lending Club, IPUMS, NCES, CDC)를 활용한다. 데이터 샘플링을 통해 초기 인구를 실제 인구통계와 경제적 특성을 반영하도록 구성하고, 회귀 모델을 이용해 특성‑결과 관계를 추정한 뒤 약간의 증폭을 가해 구조적 불균형을 인위적으로 삽입한다. 이렇게 함으로써 실험 환경이 현실적이면서도 연구자가 통제 가능한 불공정 요인을 포함하도록 설계되었다.

실험에서는 대표적인 협력형 MARL 알고리즘(예: QMIX, VDN)을 적용하고, 공정성‑보상 가중치를 조정한 여러 변형을 비교하였다. 결과는 (i) 공정성 지표를 보상에 직접 포함하면 전체 효율성(예: 대출 승인율, 치료 성공률, 졸업률)이 감소할 수 있지만, 장기적으로 그룹 간 격차는 현저히 완화된다, (ii) 에이전트 간 역할 분담이 명확할수록(예: 보험사는 비용 최소화, 병원은 사망률 감소, 중앙계획자는 지역 격차 최소화) 정책 조정이 용이하고, (iii) 원시 지표를 활용한 다중‑시간‑스케일 평가가 단일 스칼라 보상 기반 평가보다 공정성 변화를 더 민감하게 포착한다는 점을 확인했다.

한계점으로는 현재 실험이 모두 협력적 설정에 국한되어 있어 경쟁·협상 상황에서의 공정성 역학을 다루지 못한다는 점, 그리고 복잡한 정책 개입(예: 법적 규제, 사회적 인센티브)을 모델링하기 위한 추가 모듈이 필요하다는 점을 언급한다. 향후 연구에서는 비협력적 시나리오, 인간 피드백 기반 보상 설계, 그리고 정책 시뮬레이션을 위한 인터페이스 확장이 제안된다.

전반적으로 MAFE는 다중‑에이전트·다단계 의사결정 시스템에서 공정성을 체계적으로 연구할 수 있는 첫 번째 공개‑소스 벤치마크이며, 연구자들이 공정성‑성능 트레이드오프를 정량화하고, 실제 정책 적용 가능성을 탐색하는 데 유용한 기반을 제공한다.