A Framework of High-Stakes Algorithmic Decision-Making for the Public Sector Developed through a Case Study of Child-Welfare

📝 Abstract

Algorithms have permeated throughout civil government and society, where they are being used to make high-stakes decisions about human lives. In this paper, we first develop a cohesive framework of algorithmic decision-making adapted for the public sector (ADMAPS) that reflects the complex socio-technical interactions between \textit{human discretion}, \textit{bureaucratic processes}, and \textit{algorithmic decision-making} by synthesizing disparate bodies of work in the fields of Human-Computer Interaction (HCI), Science and Technology Studies (STS), and Public Administration (PA). We then applied the ADMAPS framework to conduct a qualitative analysis of an in-depth, eight-month ethnographic case study of the algorithms in daily use within a child-welfare agency that serves approximately 900 families and 1300 children in the mid-western United States. Overall, we found there is a need to focus on strength-based algorithmic outcomes centered in social ecological frameworks. In addition, algorithmic systems need to support existing bureaucratic processes and augment human discretion, rather than replace it. Finally, collective buy-in in algorithmic systems requires trust in the target outcomes at both the practitioner and bureaucratic levels. As a result of our study, we propose guidelines for the design of high-stakes algorithmic decision-making tools in the child-welfare system, and more generally, in the public sector. We empirically validate the theoretically derived ADMAPS framework to demonstrate how it can be useful for systematically making pragmatic decisions about the design of algorithms for the public sector.

💡 Analysis

Algorithms have permeated throughout civil government and society, where they are being used to make high-stakes decisions about human lives. In this paper, we first develop a cohesive framework of algorithmic decision-making adapted for the public sector (ADMAPS) that reflects the complex socio-technical interactions between \textit{human discretion}, \textit{bureaucratic processes}, and \textit{algorithmic decision-making} by synthesizing disparate bodies of work in the fields of Human-Computer Interaction (HCI), Science and Technology Studies (STS), and Public Administration (PA). We then applied the ADMAPS framework to conduct a qualitative analysis of an in-depth, eight-month ethnographic case study of the algorithms in daily use within a child-welfare agency that serves approximately 900 families and 1300 children in the mid-western United States. Overall, we found there is a need to focus on strength-based algorithmic outcomes centered in social ecological frameworks. In addition, algorithmic systems need to support existing bureaucratic processes and augment human discretion, rather than replace it. Finally, collective buy-in in algorithmic systems requires trust in the target outcomes at both the practitioner and bureaucratic levels. As a result of our study, we propose guidelines for the design of high-stakes algorithmic decision-making tools in the child-welfare system, and more generally, in the public sector. We empirically validate the theoretically derived ADMAPS framework to demonstrate how it can be useful for systematically making pragmatic decisions about the design of algorithms for the public sector.

📄 Content

알고리즘은 현대 민간 정부와 사회 전반에 깊숙이 스며들어 인간의 삶에 중대한 영향을 미치는 의사결정 과정에 활용되고 있다. 이러한 알고리즘 기반 의사결정은 복지, 형사 사법, 교육, 교통 등 다양한 공공 분야에서 점점 더 핵심적인 역할을 차지하고 있으며, 그 결과가 개인의 권리와 복지에 직접적인 영향을 미치기 때문에 높은 수준의 책임성과 투명성이 요구된다.

본 논문에서는 먼저 공공 부문을 위한 알고리즘 의사결정 프레임워크(ADMAPS, Algorithmic Decision‑Making Adapted for the Public Sector) 를 체계적으로 구축하였다. ADMAPS는 인간의 재량(human discretion), 관료적 절차(bureaucratic processes), 그리고 알고리즘적 의사결정(algorithmic decision‑making) 이 서로 얽히고 설키는 복합적인 사회‑기술적 상호작용을 포괄적으로 설명하기 위해, 인간‑컴퓨터 상호작용(HCI), 과학기술학(STS), 그리고 공공행정(PA) 분야에서 제시된 다양한 이론과 실증 연구들을 통합·종합하였다. 구체적으로는 HCI에서 강조하는 사용자 중심 설계 원칙, STS에서 제시하는 기술의 사회적 구성론, 그리고 PA에서 다루는 정책·조직·절차적 맥락을 하나의 통합된 모델 안에 녹여냈으며, 이를 통해 알고리즘이 실제 현장에서 어떻게 인간과 조직 구조 사이에 매개되는지를 체계적으로 파악할 수 있도록 하였다.

다음 단계로, 우리는 위에서 제시한 ADMAPS 프레임워크를 실제 현장에 적용하기 위해 미국 중서부에 위치한 한 아동복지기관을 대상으로 8개월에 걸친 심층 민족학적(ethnographic) 사례연구 를 수행하였다. 이 기관은 약 900가구, 1,300명의 아동을 대상으로 복지 서비스를 제공하고 있으며, 일상 업무에서 여러 종류의 알고리즘(예: 위험 평가 모델, 자원 배분 최적화 도구, 사례 관리 자동화 시스템 등)을 활용하고 있다. 연구팀은 현장 관찰, 반구조화 인터뷰, 정책 문서 및 시스템 로그 분석 등을 통해 알고리즘이 실제 업무 흐름에 어떻게 삽입되고, 직원들의 판단과 어떻게 상호작용하는지를 정성적으로 탐색하였다.

연구 결과, 현재 대부분의 알고리즘 설계는 위험 회피(risk‑avoidance) 혹은 통계‑중심(statistical‑centric) 의사결정에 초점을 맞추는 경향이 강해, 아동복지와 같이 복합적이고 다차원적인 사회 문제에 적용하기에는 한계가 있음을 확인하였다. 예를 들어, 위험 점수만을 기반으로 아동을 분류하는 시스템은 가정 환경의 잠재적 강점이나 회복탄력성을 충분히 반영하지 못해, 실제 현장에서 담당 사회복지사의 전문적 판단과 충돌하거나, 불필요한 개입을 초래하는 경우가 있었다.

이에 따라 우리는 사회생태학적 프레임워크(social‑ecological framework) 를 기반으로 한 강점‑중심(Strength‑Based) 알고리즘 결과에 중점을 둘 필요가 있음을 제안한다. 강점‑중심 접근은 아동과 가족이 이미 보유하고 있는 자원, 사회적 연결망, 개인적 회복 능력 등을 식별·강화하는 방향으로 알고리즘을 설계함으로써, 단순히 위험을 예측하는 것을 넘어 긍정적인 성장 경로를 제시하도록 한다. 이러한 설계는 정책 목표와 현장 실무가 보다 일치하도록 돕고, 장기적인 복지 향상 효과를 기대할 수 있다.

또한, 알고리즘 시스템은 기존의 관료적 절차를 대체(replace)하기보다는 보완(supplement) 하고, 인간의 재량을 증강(augment) 하는 역할을 수행해야 한다는 점을 강조한다. 즉, 알고리즘이 제공하는 데이터‑기반 통찰은 사회복지사의 전문적 경험과 판단을 보강하는 도구로 활용되어야 하며, 최종 의사결정은 여전히 인간이 책임을 지는 구조가 유지되어야 한다. 이를 위해서는 인터페이스 설계 단계에서 사용자의 작업 흐름과 의사결정 포인트를 정확히 파악하고, 알고리즘이 제시하는 결과를 어떻게 해석·활용할지에 대한 명확한 가이드라인을 제공해야 한다.

마지막으로, 알고리즘 도입에 대한 조직 차원의 집단적 수용(collective buy‑in) 은 실무자와 관료 양측이 목표 결과에 대한 신뢰(trust)를 형성 하는 과정에서 이루어진다. 신뢰는 투명성(transparency), 설명가능성(explainability), 그리고 결과에 대한 지속적인 피드백 메커니즘을 통해 구축될 수 있다. 예를 들어, 알고리즘이 산출한 위험 점수의 산정 근거를 문서화하고, 정기적인 검증 회의를 통해 현장 직원들이 직접 검토·수정할 수 있는 절차를 마련하면, 알고리즘에 대한 의구심을 감소시키고 협업적 사용 문화를 조성할 수 있다.

본 연구를 통해 우리는 아동복지 시스템 뿐만 아니라 보다 넓은 공공 부문 에서 고위험 알고리즘 의사결정 도구를 설계하기 위한 구체적인 가이드라인 을 제시한다. 제시된 가이드라인은 다음과 같은 단계별 실천 지침을 포함한다.

1. 목적 정의 및 이해관계자 참여 – 알고리즘이 해결하고자 하는 구체적 문제와 기대 효과를 명확히 규정하고, 정책 입안자, 현장 실무자, 시민 등 모든 이해관계자를 초기 단계부터 참여시킨다.
2. 데이터 수집·관리·윤리 검토 – 사용되는 데이터의 출처, 품질, 편향 가능성을 평가하고, 개인정보 보호와 차별 방지를 위한 윤리적 검토 절차를 마련한다.
3. 모델 설계·검증 – 강점‑중심 지표와 위험‑중심 지표를 동시에 고려하는 다중 목표 모델을 개발하고, 교차 검증 및 현장 파일럿 테스트를 통해 실효성을 검증한다.
4. 설명가능성·투명성 확보 – 알고리즘의 의사결정 로직을 이해하기 쉬운 형태(예: 시각화 대시보드, 설명 텍스트)로 제공하고, 사용자가 언제든지 결과를 추적·검증할 수 있도록 한다.
5. 사용자 교육·지원 – 현장 직원이 알고리즘을 올바르게 해석하고 활용할 수 있도록 교육 프로그램과 지속적인 기술 지원 체계를 구축한다.
6. 지속적 모니터링·피드백 – 알고리즘 적용 후 발생하는 실제 효과와 부작용을 정기적으로 모니터링하고, 피드백을 반영해 모델을 업데이트한다.

더불어, 이론적으로 도출된 ADMAPS 프레임워크 가 실제 현장에서 어떻게 적용될 수 있는지를 실증적으로 검증 함으로써, 공공 부문 알고리즘 설계에 있어 체계적이고 실용적인 의사결정 도구 로서의 유용성을 입증하였다. 구체적인 사례 분석을 통해 ADMAPS가 인간‑기술‑제도 간의 복잡한 상호작용을 명확히 드러내고, 설계 단계에서 발생할 수 있는 윤리·사회적 위험을 사전에 식별·완화하는 데 효과적임을 확인하였다.

이러한 결과는 정책 입안자, 공공기관 관리자, 그리고 기술 개발자 가 알고리즘을 도입·운용함에 있어 인간 중심적이며 사회적 가치를 고려한 접근법 을 채택하도록 돕는 데 기여할 것이다. 궁극적으로는 알고리즘이 인간의 판단을 보조하고, 공공 서비스의 효율성과 형평성을 동시에 향상시키는 도구로 자리매김하도록 하는 것이 본 연구의 궁극적인 목표이며, 이를 위해 지속적인 학제간 협력과 현장 기반 연구가 필요함을 강조한다.