공정한 분배를 위한 트랜스포머

초록

FairFormer는 아이템과 에이전트를 무순서 토큰 집합으로 인코딩하고, 자체‑어텐션과 아이템‑에이전트 교차‑어텐션을 활용해 단일 순전파로 할당 확률을 출력하는 변형 트랜스포머이다. 로그‑넨시스 복지를 최대화하도록 학습하고, 테스트 시 행별 argmax와 EF1‑수정 절차를 적용해 거의 최적의 효율성과 EF1 공정성을 동시에 달성한다.

상세 분석

본 논문은 이산 공정분배 문제를 딥러닝 기반의 ‘한 번에 할당’ 방식으로 해결하고자 한다. 핵심 아이디어는 입력인 가치 행렬 V를 두 개의 토큰 집합(아이템 토큰, 에이전트 토큰)으로 변환한 뒤, 각각을 독립적인 self‑attention 층으로 인코딩하고, 아이템 토큰이 에이전트 토큰을 query‑key‑value 로 활용하는 cross‑attention을 통해 아이템‑에이전트 간 상호작용을 모델링한다. 이렇게 얻어진 아이템 임베딩 Z와 에이전트 임베딩 H를 bilinear 연산으로 결합해 수정된 효용 행렬 Sθ(V)=Z·Hᵀ+αV 를 만든다. 여기서 α는 원본 가치 행렬을 직접 전달하는 residual 스칼라이며, 이는 “가치가 높은 아이템을 높은 확률로 할당한다”는 직관을 보존하면서 네트워크가 학습을 통해 공정성 관련 패턴을 추가하도록 돕는다.

출력 단계에서는 온도 τ를 점진적으로 낮추는 스케줄을 적용해 softmax를 수행한다. 훈련 초기에 높은 온도로 부드러운 확률 분포를 제공해 미분 가능성을 확보하고, 훈련 말기에 τ→0에 가까워지면서 거의 one‑hot 할당을 생성한다. 손실 함수는 로그‑넨시스 복지 log NW(A)= (1/n)∑ᵢ log vᵢ(Aᵢ) 의 기대값을 최대화하는 형태이며, 이는 직접적인 복지 최적화를 가능하게 한다. 중요한 점은 별도의 최적화 알고리즘이나 라벨이 필요 없으며, 샘플링된 가치 행렬만으로 완전 자율 학습이 이루어진다.

예측된 확률 행렬을 행별 argmax 로 이산화한 뒤, EF1‑Quick‑Repair 절차를 적용한다. 이 절차는 현재 할당에서 EF1 위반을 탐지하고, 위반을 일으키는 에이전트 쌍에 대해 가장 큰 넨시스 복지 향상을 기대할 수 있는 아이템을 이동시킨다. 이 과정은 이론적 보장을 갖는 간단한 휴리스틱이며, 실험적으로 거의 모든 경우에 EF1을 만족시키면서 복지 손실을 최소화한다.

구조적 측면에서 FairFormer는 permutation‑equivariance 를 엄격히 유지한다. 입력 행(아이템)이나 열(에이전트)의 순서를 바꾸면 출력 할당 행렬도 동일하게 행·열이 바뀌는 형태가 보장된다. 이는 기존의 순차적 트랜스포머와 달리 positional encoding 을 사용하지 않으며, set‑transformer 와 Deep Sets 이론을 직접 적용한 설계다. 이러한 대칭성은 훈련 데이터와 다른 규모(m,n)의 인스턴스에도 좋은 일반화 성능을 제공한다는 실험 결과와 일치한다.

성능 평가에서는 균일 샘플링된 가치 행렬에 대해 Nash 복지 96‑97%, Utilitarian 복지 95‑96% 를 달성했으며, 이는 기존 최첨단 알고리즘(예: EEF1‑NN, round‑robin 파라미터화)보다 높은 복지와 비슷하거나 더 빠른 실행 시간을 기록한다. 특히, 훈련된 모델은 한 번의 포워드 패스만으로 할당을 생성하므로, 전통적인 탐색 기반 방법에 비해 상수 시간 복잡도를 갖는다. 또한, 훈련 시 사용된 가치 분포와 다른 분포(예: 베타, 정규분포)에서도 근접한 복지와 EF1 비율을 유지해 강인한 일반화 능력을 입증한다.

요약하면, FairFormer는 (1) 대칭성을 고려한 두‑탑 트랜스포머 아키텍처, (2) 온도 스케줄링을 통한 연속‑이산 전이, (3) 로그‑넨시스 복지 직접 최적화, (4) 경량 EF1 수리 절차라는 네 가지 핵심 설계 요소를 결합해, 이산 공정분배 문제에서 효율성·공정성·속도 삼위일체를 동시에 만족하는 새로운 딥러닝 기반 솔루션을 제시한다.