- Title: Beyond Demand Estimation Consumer Surplus Evaluation via Cumulative Propensity Weights
이 논문은 관찰 데이터를 활용하여 AI 기반의 결정, 특히 타겟팅 가격 설정과 알고리즘 대출에 대한 소비자 여유 효과를 심사하기 위한 실용적인 프레임워크를 개발합니다. 전통적 접근법에서는 먼저 수요 함수를 추정한 후 이를 통합하여 소비자 여유를 계산하지만, 이러한 방법은 모수적 수요 형태에서의 모형 사양 오류와 유연한 비모수적 또는 기계 학습 접근법에 따른 큰 데이터 요구사항과 느린 수렴으로 인해 실제 적용이 어려울 수 있습니다. 대신 우리는 현대 알고리즘 가격 설정에서 발생하는 탐색과 활용의 균형을 위해 본래 내재된 무작위성을 활용하고, 수요 함수의 명시적 추정 및 수치 적분을 피할 수 있는 추정자를 도입합니다. 무작위 가격에서 관찰된 각 구매 결과는 수요에 대한 편향 없는 추정치이며, 새로운 누적 경향 가중치(CPW)를 사용하여 구매 결과를 세심하게 재가중함으로써 적분을 재구성할 수 있습니다. 이러한 아이디어를 바탕으로 정확히 수요 모델이나 역사적인 가격 책정 정책 분포 중 하나만 올바르게 사양되어 있으면 되는 복수로 견고한 변형인 증강 누적 경향 가중치(ACPW) 추정자를 도입합니다. 또한 이 접근법은 소비자 여유를 추정할 때 기계 학습 방법의 활용을 용이하게 하며, 특히 기계 학습 추정값이 느린 수렴 속도를 보일 때조차도 수요 추정을 포함함으로써 빠른 수렴 속도를 달성합니다. 이러한 추정자는 목표 추정 대상인 소비자 여유가 관찰되지 않는다는 점에서 오프-폴리시 평가 기법의 표준적 응용이 아닙니다. 공평성을 고려하기 위해 이 프레임워크를 부등식 인식 여유 측정으로 확장하여 규제 당국과 기업들이 수익-공정성 트레이드오프를 정량화할 수 있도록 합니다. 마지막으로, 포괄적인 수치 연구를 통해 우리의 방법을 검증합니다.
1. **새로운 소비자 이익 추정 방법**: 기존의 수요 예측 모델이 필요하지 않은 새로운 이익 추정 방식을 제안합니다. 이를 통해 정확한 수요 모델링 없이도 소비자 이익을 직접 추정할 수 있습니다.
2. **불평등에 민감한 이익 추정**: 소득 불평등을 고려하여 다양한 고객 그룹 간의 이익 분배를 평가하는 방법론을 개발했습니다.
3. **확장 가능한 기계 학습 활용**: 모델링 과정에서 복잡한 비모수적 방법과 현대적인 기계 학습 기법을 사용하여 추정의 정확성을 높였습니다.
# 서론
소비자 행동에 대한 데이터의 증가와 고급 인공지능(AI) 기술의 발전으로, 기업들은 상품 가격을 동적으로 조정하고 개인화된 대출을 제공하기 위해 자동화된 타겟팅 알고리즘 전략을 점점 더 많이 채택하고 있습니다. 예를 들어, 많은 전자상거래 회사는 개별 고객의 구매 이력, 인구 통계학적 정보, 또는 브라우징 행동에 따라 가격을 동적으로 조정합니다(e.g., ), 금융 기업들은 자동차 대출, 주택담보대출, 신용카드와 같은 제품의 금리를 설정하는 데 유사한 타겟팅 알고리즘을 사용합니다. 실제로, 금리 설정은 개인화된 가격 책정의 한 형태로 널리 인식되어 있으며, 최근 연구는 자동차 대출 데이터를 이용해 알고리즘 가격 책정 전략의 효율성을 실증적으로 입증했습니다 . 이러한 추천 AI 기술이 시장 효율성 향상과 기업 수익 증대, 개인화된 서비스를 통한 포용 확대에 도움이 될 것으로 예측되지만, 소비자에게 부정적인 영향을 미칠 가능성이 있다는 우려도 있습니다.
주요 우려 중 하나는 타겟팅 알고리즘으로 인해 기업의 수익 증가가 소비자의 이익 감소를 초래한다는 것입니다. 최근 학계 모델은 이러한 부담이 공평하게 분배되지 않을 가능성이 있음을 제시합니다 . 또한 마rginalized 그룹들이 가격 책정 전략에 의해 비례적으로 더 많이 영향을 받을 수 있다는 우려가 늘고 있습니다. 예를 들어, 차량 호출 서비스는 주로 백인 인구가 적은 지역과 빈곤율이 높은 지역에서 더 높은 요금을 부과하는 것으로 나타났습니다. 이는 이러한 커뮤니티가 알고리즘 가격 책정 전략으로 인해 더 큰 가격 상승을 겪고 있음을 시사합니다 . 이러한 우려는 정책 입안자와 미디어의 주목을 받았습니다. 예를 들어, 백악관 보고서는 가격 결정에서 알고리즘 의사결정과 관련된 위험성을 강조했으며, 연방거래위원회(FTC)는 개인화된 가격 책정 방식을 사용하는 기업들에게 투명성 요구 조치를 취했습니다 . 또한 입법자들은 대형 소매업체들의 가격 책정 전략에 대한 감사를 촉구했습니다. 이러한 관심에도 불구하고, 더욱 정교한 알고리즘 가격 책정 정책의 영향은 아직 명확하지 않습니다.
이러한 발전은 소비자 이익과 그 분포를 평가할 수 있는 강력한 검증 도구의 필요성을 부각시킵니다. FTC와 같은 규제 기관에게는 이러한 도구들이 관련 법규, 예를 들어 1995년 성별 세금 폐지법(일명 “핑크세”)을 준수하고 있는지 확인하는 데 도움이 될 수 있습니다. 이 법은 성별에 따른 가격 차별을 금지하고 있으며, 동등한 신용 기회 법(ECOA)는 대출자들이 인구 통계학적 요인으로 차별하지 않도록 합니다. 또한 이러한 도구들은 정책 입안자가 다양한 유형의 알고리즘 가격 책정이 누군가에게 부정적인 영향을 미치는지 이해하고, 더 나은 지침과 규칙을 마련하는 데 도움이 됩니다. 이러한 도구들은 기업들이 존재하는 알고리즘의 규제나 명성 위험을 평가하고, 미래의 준수를 위해 결과를 시뮬레이션하며, 소비자 이익이 모든 고객 유형에 대해 지속 가능한 수준을 유지하도록 함으로써 단기적인 이익과 장기적인 고객 관계 사이에서 더 나은 균형을 맞추는 기회도 제공합니다.
이러한 필요성에도 불구하고, 현재의 소비자 이익 추정 방법론에는 여러 문제점이 있습니다. 일반적으로 추정 기술은 수요를 먼저 예측하고 이를 통합하여 이익을 계산하는 방식으로 이루어지기 때문에, 이익 추정의 정확도는 수요 추정의 정확성에 크게 의존합니다(e.g., ). 이러한 접근법은 본질적으로 간접적이고 가격과 관련된 복잡한 함수를 예측해야 하며, 때로는 단순한 스칼라 목표인 이익을 계산하기 위해 필요할 수 있습니다. 전통적인 수요 모델은 매개 변수 가정에 의존하며, 행동이 가정한 형태에서 벗어나면 편향될 수 있습니다 . 더 유연한 비매개변수적이고 기계 학습 방법론, 예를 들어 신경망 ,는 함수 가정을 완화하지만 매우 큰 데이터셋과 신중한 튜닝이 필요하며 보통 수렴 속도가 느립니다. 이러한 단점들을 고려할 때, 정확한 수요 추정에 덜 의존하는 더 직접적인 이익 추정 방법론을 탐구하고 기계 학습 추정치를 통합하면서 여전히 빠른 수렴 속도를 달성하는 방법을 조사하는 것이 유용합니다.
많은 성공적인 현대 가격 책정 알고리즘의 중요한 특징 중 하나는 가격 실험에 어느 정도 참여한다는 것입니다. 실제로, 시장 상황, 경쟁자의 행동, 소비자 선호도가 시간이 지남에 따라 변화하기 때문에, 가격 책정 알고리즘은 최적성을 유지하기 위해 수요 곡선을 계속 탐색해야 합니다(e.g., ). 최근 경험적인 연구는 대형 슈퍼마켓 체인에서 상대적으로 정적인 과거 가격 데이터를 사용한 가격 민감도 추정이 실험 데이터와 비교할 때 심각한 편향을 보였음을 관찰했으며, ZipRecruiter에서는 가격 실험 후 설정된 가격이 수익성에 크게 기여했다는 것을 입증했습니다. 이러한 예들은 기업들이 실험에 참여하는 데 더 많은 의지를 보이고 있음을 나타냅니다. 이는 전자상거래 플랫폼이 지속적인 가격 업데이트를 가능하게 함으로써 더욱 일반화되었습니다. 주로 수익 극대화를 지원하기 위한 목적이지만, 이러한 내재적 무작위성은 소비자 복지를 평가할 수 있는 풍부한 준실험적 변동을 제공합니다.
이러한 데이터와 명시적인 수요 추정을 피하는 자연스러운 접근법 중 하나는 인과 추론에서 역확률 점수 가중치(IPW)를 활용하는 것입니다. 그러나 준실험적 데이터만으로는 소비자 복지를 측정할 때 근본적인 어려움을 해결하지 못합니다. 매출은 가격과 관찰된 구매 결정에 의해 완전히 결정되지만, 소비자 이익은 고객의 평가라는 본질적으로 숨겨진 변수에 의존합니다. 관찰 데이터에서는 이익을 직접 관찰할 수 없습니다. 대신 우리는 구매 결정이라는 이진 결과를 관찰하며, 이를 통해 가격이 가치를 초과했음을 암시하는 거친 근사치만 제공할 수 있습니다. 때문에 실제 관심 변수는 직접적으로 확인되지 않기 때문에 표준 인과 추론 기법인 관찰된 결과에 대한 가중치 적용은 직접적으로 적용될 수 없습니다.
이러한 도전을 극복하기 위해, 우리는 소비자 이익을 직접 추정하고 명시적인 수요 모델링의 필요성을 피하는 새로운 누적 확률 가중치(CPW) 추정자를 제안합니다. 이 접근법은 많은 현대 알고리즘 가격 책정 전략에서 탐색과 활용 사이를 균형 잡기 위해 이미 존재하는 무작위성을 활용합니다. 직관적으로, 관찰된 무작위 가격의 구매 결과는 수요에 대한 무편향 추정값입니다. 이러한 관측을 목표 가격 책정 정책이 유사한 고객에게 동일하거나 더 낮은 가격을 제공할 확률에 따라 신중하게 재가중함으로써, 이 가격 수준이 과거에 얼마나 자주 나타났는지에 비해 소비자 이익, 즉 수요 곡선 아래의 면적이나 적분을 복원할 수 있습니다. 과거 가격 책정 정책이 알려져 있거나 잘 문서화되어 있는 경우, 접근법은 구현하기 쉽고 완전히 모델링 없이 이루어집니다. 알려져 있지 않은 경우, 누적 가중치는 거래 데이터에서 추정될 수 있습니다.
누적 가중치 아이디어에 기반하여, 우리는 과거 수요 모델이나 가격 분포가 잘못 지정되어 있더라도 신뢰할 수 있는 이익 추정을 제공하는 두 가지 강력한 조합 추정자를 도입합니다. 구체적으로, 과거 가격 책정 정책이 알려져 있거나 정확하게 추정될 수 있을 때, 편향된 수요 모델에도 불구하고 일관성이 유지됩니다. 반면에 수요가 점진적으로 무편향일 때, 잘못 지정된 과거 가격 책정 모델에도 불구하고 일관성이 유지됩니다. 표준 인과 추론에서 두 가지 강력한 추정자와 같이, 우리의 추정자는 Donsker 조건을 수요나 누적 가중치 추정에 부과하지 않고 약한 속도 조건 하에서도 효율성을 달성합니다. 이 유연성은 현대적인 기계 학습 기법과 복잡한 비매개변수 모델의 사용을 가능하게 합니다. 우리는 제안된 추정자가 점진적으로 효과적인 영향 함수와 동일하며, 따라서 최저 가능한 점진적 분산을 달성한다는 것을 공식적으로 확립했습니다. 마지막으로, 제안된 추정자의 점진적인 정규성을 증명하여 유효한 신뢰 구간을 구성하고 이러한 추정의 신뢰성을 평가할 수 있도록 합니다.
공평성을 위해, 우리는 표준 소비자 이익 추정에서 불평등에 민감한 이익 추정으로 목표를 확장합니다. 이 새로운 타겟은 단일 사전 지정된 매개변수를 통해 정책이 창출하는 이익의 크기와 다양한 고객 유형 간 분포를 포착합니다. 기본적으로 이 매개변수는 고객의 이익의 표준 산술 평균을 복제하지만, 점점 더 낮은 수치로 인해 불리한 그룹에 대한 결과에 더 많은 가중치를 부여하게 됩니다. 이러한 접근법은 일반화된 평균 집계 연구에 기반합니다. 이 목적을 달성하기 위해 우리는 새로운 타겟의 효과적인 영향 함수를 도출하고 누적 가중치 접근법을 사용하여 효율적인 추정자를 구성합니다. 목표의 비선형성으로 인해 이 추정자는 완전한 두 가지 강력함을 상속하지 않습니다. 대신 수요 모델에 대해 단일 강력함이 있으며, 즉 수요가 올바르게 지정되더라도 누적 가중치가 잘못 지정되어 있더라도 일관성이 유지됩니다. 이는 이전 사례와 비교할 때 이론적인 요구사항을 변경합니다: 누적 가중치를 통합하는 것은 여전히 유연한 기계 학습 모델을 허용하는 속도 조건 완화의 이점을 가지고 있지만, 수요 추정은 더 엄격한 제어가 필요하며, 특히 표준 비매개변수 속도를 충족해야 합니다. 그럼에도 불구하고 우리는 새로운 추정자의 유효한 점진적 특성을 도출하고 그 최소 점진적 분산을 가지고 있음을 보여주며, 이는 감사인이 집계 및 공평성에 민감한 이익에 대한 유효한 신뢰 구간을 보고할 수 있도록 합니다.
실험은 제안된 프레임워크의 신뢰성과 견고성을 확인합니다. 표준 집합 이익에 대해, 우리의 두 가지 강력한 추정자는 수요나 가격 모델이 잘못 지정되더라도 실제 이익을 정확하게 복원하며, 둘 다 잘 지정되었을 때 최선의 수렴 속도를 달성합니다. 우리는 불평등에 민감한 이익을 평가하고 그 추정 오류와 신뢰 구간 커버리지를 연구했습니다. 비록 이러한 비선형 목표에 대한 이론적 변화가 단일 강력함으로 바뀌었지만, 우리의 결과는 추정자가 여전히 효과적이며 다양한 공평성 설정에서 정확한 점 추정과 유효한 신뢰 구간을 생성한다는 것을 보여줍니다.
이 프레임워크의 힘을 더욱 입증하기 위해 우리는 미국 자동차 대출에 대한 대규모 금융 데이터셋에 적용합니다. 글로벌 자동차 시장 규모는 2025년에 약 2조 7천 5백억 달러였으며, 2030년까지 3조 2600억 달러를 달성할 것으로 예상됩니다. 이는 가구 금융 안정성의 중요한 드라이버이며 알고리즘 심사에 점점 더 많이 의존하고 있습니다. 우리는 과거 가격 책정 정책과 훈련된 AI 가격 책정 에이전트의 복지 결과를 비교합니다. 우리의 분석은 전문적인 가격 책정이 총 소비자 이익을 감소시키지만 신용 및 정치 그룹 간 격차를 줄이는 ‘집합-공평성’ 교환 관계를 드러내며, 프레임워크의 검증 및 규제 평가에 대한 가치를 보여줍니다.
관련 연구
소비자 이익 추정
소비자 이익 평가에 관한 문헌은 이산 선택 환경에서 소비자가 주로 집합에서 하나의 대안을 선택하는 경우(e.g., )와 연속적인 수요 설정(e.g., ), 예를 들어 가솔린 구매 등 다양한 측면에서 연구되었습니다 . 우리의 작업은 이산 선택 모델에 더 가깝지만, 개별 고객 특성과 항목을 구매했는지 여부를 나타내는 이진 결과를 관찰하는 단일 품목 설정에 초점을 맞춥니다. 초기에는 수요의 매개변수적 모델이 이익 추정에 사용되었습니다(e.g., ), 예를 들어 널리 사용되는 로그섬 공식 . 이것은 선호도와 고객 다양성에 대한 강력한 가정, 예를 들어 추가적인 극단값 오차 분포에 기반하며, 모델이 잘못 지정될 경우 혼란스러운 복지 결론을 초래할 수 있습니다.
이런 제약된 가정을 극복하고 더 넓은 범위의 환경에서 추론을 수행하기 위해, 많은 준매개변수적이고 비매개변수적인 방법들이 수요 예측에 개발되었습니다 . 이러한 방법들은 일반적으로 유연한 비매개변수 회귀를 사용하여 수요 함수를 직접 맞추고 이를 통합하여 이익을 계산합니다. 연속 환경에서는 시리즈와 커널 추정자를 사용하여 수요를 적합시키고, Shephard의 법칙에 기반한 미분 방정식을 해결하는 데 사용합니다. 후속 연구는 이러한 모델에 무관찰 소비자 다양성을 통합하는 것에 중점을 두었습니다 . 마찬가지로 이산 선택 환경에서는 각 항목(이 설정에서 수요)의 조건부 비매개변수 구매 확률을 추정하고 이를 적분하여 소비자 이익을 추정합니다. 최근에는 신경망을 사용하는 기계 학습 접근법이 최소한의 함수 형식 가정(e.g., ) 아래에서 수요와 이익을 유연하게 예측하며, 이산 선택 모델에서도 동일합니다 . 또한 나무 집합 방법론도 제안되었습니다 . 비매개변수 소비자 이익 추정에 대한 포괄적인 설명은 및 에서 찾을 수 있습니다.
이러한 비매개변수 수요 추정 방법의 중요한 균형점 중 하나는 수렴 속도가 더 느려져 잘 지정된 매개변수 모델보다 유한 표본 성능이 약간 떨어질 수 있다는 것입니다. 어느 경우에도 소비자 이익 추정은 수요 모델만큼 정확합니다. 반면에, 우리는 수요를 모델링할 필요가 없는 접근법을 제시하고, 느리게 수렴하는 수요 모델이 있을 때 더 빠른 수렴을 달성할 수 있습니다.
소비자 이익 추정의 최근 응용 사례는 예를 들어 , Netflix 데이터를 분석하기 위해 순서 프로빗을 사용한 것과 같은 곳에서 찾을 수 있습니다. 는 ZipRecruiter에서 대규모 무작위 가격 실험으로부터 이익을 추정하기 위해 베이지안 매개변수적 프레임워크를 사용했습니다. 다른 연구는 가격의 준실험적 변동을 활용하였습니다. 예를 들어, Uber의 상황 가격 데이터에서 가격 탄력성과 이익을 추정하기 위해 회귀 불연속 설계를 사용하였습니다.
이 문헌 대부분은 소득 효과를 통합하는 데 초점을 맞추지만, 우리의 논문에서는 이러한 부분에 집중하지 않습니다. 우리는 소비자의 총 예산에서 소비자가 지출하는 비율이 작은 환경을 중점으로 합니다. 이와 같은 상황에서는 소득 효과가 무시할 수 있을 정도로 작아서 Marshallian 소비자 이익이 Hicksian 보상 변동의 근사치를 제공합니다 . 또는 우리의 분석은 대안적으로 해석될 수 있습니다.
