교통단속에서 존중의 주관성: 지역사회 시각을 반영한 모델링

초록

본 논문은 로스앤젤레스 경찰청(LAPD) 바디워런 카메라 영상을 활용해 교통단속 상황에서 ‘존중’이라는 개념이 어떻게 서로 다른 커뮤니티에 따라 다르게 인식되는지를 조사한다. 경찰 소속, 사법제도 경험자, 일반 시민 등 세 그룹의 annotator를 모집해 1,000여 건의 정지 영상을 1~5 점의 존중 평점과 자유 서술형 근거로 라벨링하였다. 절차적 정의 이론과 LAPD 교육 매뉴얼을 기반으로 감정, 전문성, 의사소통, 상황 조절 요인 네 가지 카테고리로 구성된 평가 루브릭을 설계하고, 이를 LLM‑as‑judge 형태의 자동 평가기에 적용해 루브릭 기반 선호 데이터셋을 생성한다. 마지막으로 annotator 그룹 정보를 조건으로 넣은 ‘perspective‑aware’ 모델을 학습시켜, 각 그룹별 맞춤형 평점 예측과 근거 생성 성능을 향상시켰다.

상세 분석

이 연구는 세 가지 핵심 기여를 제시한다. 첫째, 교통단속 영상에 대한 대규모 주관적 라벨링 데이터셋을 구축하였다. 약 1,000개의 BWC 영상에서 5점 척도의 존중 평점과 함께 1,362개의 자유 텍스트 근거를 수집했으며, annotator는 경찰 소속(GPA), 사법제도 경험자(GJI), 비소속(GNA) 세 그룹으로 구분해 각 그룹의 평균 평점 차이와 근거 길이 차이를 정량화했다. 둘째, 절차적 정의 이론, LAPD 교육 자료, 현장 인터뷰 등을 종합해 ‘감정(Emotions)’, ‘전문성(Professionalism)’, ‘의사소통(Communication)’, ‘상황 조절(Contextual Moderators)’ 네 가지 카테고리와 그 하위 요소들을 포함하는 평가 루브릭을 설계하였다. 이 루브릭은 LLM‑as‑judge(예: LLaMA‑3‑70B)를 통해 인간 근거와 모델 생성 근거를 이진 활성화 벡터로 변환하고, 매크로 정밀도·재현율·F1 점수로 평가한다. 셋째, 루브릭 기반 선호 데이터 합성 파이프라인을 도입해 생성 모델과 패러프레이징 모델이 만든 후보 근거를 루브릭 점수에 따라 선별·보강하고, 이를 이용해 ‘annotator‑aware’와 ‘group‑aware’ 두 단계의 조건부 언어 모델을 학습시켰다. 실험 결과, 모든 그룹에서 평점 예측 MAE가 기존 베이스라인 대비 12% 이상 개선되었으며, 근거 생성에서도 루브릭 F1 점수가 평균 8% 상승했다. 특히 GJI 그룹은 감정·불신 요소에 민감하게 반응하는 경향을 보였고, GPA 그룹은 절차적 전문성(인사·인사말) 요소에 높은 가중치를 두었다. 이러한 차이는 모델이 그룹별 특성을 반영하도록 설계되었을 때만 뚜렷이 드러났으며, 단일 ‘객관적’ 라벨에만 의존하는 접근법보다 커뮤니티 신뢰 회복에 더 유용함을 시사한다. 또한, 루브릭을 활용한 자동 평가가 인간 평가자와 높은 상관관계를 보였으며, 데이터 라벨링 비용을 크게 절감할 수 있는 가능성을 제시한다. 전체적으로 이 논문은 주관적 사회적 개념을 다중 관점에서 정량화하고, 이를 머신러닝 모델에 통합하는 방법론을 제시함으로써 정책·법 집행 분야의 AI 활용에 새로운 패러다임을 제공한다.