무후회 학습 알고리즘의 경제학

초록

**
본 리뷰는 컴퓨터 과학에서 발전된 무후회(no‑regret) 학습 알고리즘을 경제학에 적용한 최신 연구 흐름을 정리한다. 무후회 학습이 연계된 상관균형(correlated equilibrium)과 교환후회(swap regret)의 이론적 기반을 설명하고, 스택엘버그 조작, 구조적 추정, 알고리즘 간 담합 등 세 가지 주요 응용 분야—조작 가능성, 통계적 추론, 알고리즘 담합—에 대한 최근 결과를 종합한다. 또한 온라인 학습의 기본 모델, FTL·EW·BTL·PFTL 등 대표적인 알고리즘을 소개하고, 무후회 보장이 경제적 균형과 정책 설계에 어떤 의미를 갖는지 논의한다.

**

상세 분석

**
이 논문은 무후회 학습이 경제학에서 “완전 합리성”의 실현 가능성을 완화하는 새로운 합리성 기준으로 작동한다는 점을 강조한다. 무후회는 행동 선택 후에 “후회”가 없도록 하는 조건으로, 베스트‑인‑히스토리(regret)와 스와프‑후회(swap regret) 두 가지 형태가 있다. 베스트‑인‑히스토리 후회는 고정된 베이스 액션과 비교했을 때의 손실을 최소화하고, 스와프‑후회는 임의의 행동 변환(스와프)까지 고려한다. 두 후회 개념은 각각 거친 상관균형(coarse correlated equilibrium, CCE)과 정밀 상관균형(correlated equilibrium, CE)을 유도한다.

논문은 먼저 온라인 학습의 기본 프레임워크를 제시한다. 매 라운드마다 k개의 행동 중 하나를 선택하고, 모든 행동에 대한 보상을 관찰한다. 목표는 누적 보상이 최적 고정 행동(OPT)과 차이가 사라지는, 즉 평균 후회가 0에 수렴하는 알고리즘을 설계하는 것이다. 여기서 결정론적 알고리즘은 적대적 환경에서 상수 수준의 후회를 피할 수 없으며, 무작위화가 필수임을 정리한다.

대표적인 무작위화 기반 알고리즘으로는 지수 가중치(Exponential Weights, EW)와 그 변형인 Follow‑the‑Leader(F​TL), Be‑the‑Leader(BTL), Perturbed‑FTL(PFTL)이 소개된다. EW는 학습률 ε에 따라 보상이 높은 행동의 선택 확률을 기하급수적으로 증가시켜, ε를 적절히 조정하면 O(√(log k / n)) 수준의 후회를 보장한다. FTL는 i.i.d. 환경에서는 최적이지만 적대적 상황에서는 실패한다. BTL은 미래를 미리 알 수 있는 가상의 벤치마크로, 최적 고정 행동보다 항상 큰 누적 보상을 제공한다(OPT ≤ BTL). 실제 구현이 불가능한 BTL을 근사하기 위해 PFTL은 초기 보상에 랜덤 교란을 추가해 FTL의 불안정을 완화하고, 기대 후회가 O(√(log k / n)) 이하가 되도록 만든다.

이러한 알고리즘적 결과를 경제학적 맥락에 연결하면, 무후회 학습이 반복 게임에서 상관균형을 자연스럽게 도출한다는 점을 확인할 수 있다. 특히 스와프‑후회 알고리즘은 포스터와 보라(Foster & Vohra, 1997)와 하트·마스‑콜렐(Hart & Mas‑Colell, 2000)의 결과와 일치해, 반복 게임의 경험적 행동 분포가 CE에 수렴한다. 반면 베스트‑인‑히스토리 후회 알고리즘은 CCE에만 수렴한다.

논문은 이론적 차이가 실제 경제적 조작 가능성에 미치는 영향을 분석한다. 스택엘버그(Stackelberg) 게임에서 리더가 고정된 전략을 고수할 경우, 베스트‑인‑히스토리 후회 학습자는 리더의 전략을 완벽히 추적해 스택엘버그 균형(payoff)을 달성한다. 그러나 동일한 상황에서 스와프‑후회 학습자는 리더가 추가적인 이득을 얻도록 조작하는 것을 방지한다(Braverman et al., 2018; Deng et al., 2019). 이는 정책 입안자가 알고리즘 기반 시장에서 리더‑팔로워 구조를 설계할 때, 스와프‑후회 보장을 요구하면 과도한 가격 조작이나 담합을 억제할 수 있음을 시사한다.

또한 무후회 학습을 이용한 구조적 추정(structural inference) 방법을 소개한다. Nekipelov et al. (2015)는 관찰된 행동 데이터와 무후회 보장을 결합해, 해당 데이터가 어떤 선호와 후회 집합을 만족하는지 역추정한다. 이는 전통적인 구조적 추정이 요구하는 강력한 균형 가정(Nash)보다 완화된 가정으로, 실제 데이터에 더 유연하게 적용 가능하게 만든다.

마지막으로 알고리즘 담합에 대한 최신 연구를 검토한다. Calvano et al. (2020)와 Hartline et al. (2024, 2025)는 온라인 플랫폼에서 가격 설정 알고리즘이 무후회 학습을 통해 자연스럽게 담합 행동을 학습할 수 있음을 보였다. 특히 스와프‑후회 보장은 담합을 감지하고 규제하는 데 유리한 특성을 제공한다. 논문은 이러한 결과가 경쟁법 및 플랫폼 규제 설계에 중요한 함의를 가진다고 강조한다.

전반적으로 이 리뷰는 무후회 학습이 경제학에서 “계산 가능하고 관측 가능한” 균형 개념을 제공함으로써, 전통적 Nash 균형의 비계산성 문제를 회피하고, 정책·규제 설계에 실용적인 도구를 제공한다는 점을 설득력 있게 제시한다.

**