스택오버플로우 성별 격차: 양과 질의 진실

초록

본 연구는 스택오버플로우에서 남·여 사용자의 답변 품질을 인간 평가와 대형 언어 모델(LLM) 평가로 비교한다. 결과는 성별에 따른 답변 품질 차이가 없으며, 평판 점수 격차는 활동량(질문·답변 수) 차이에 기인한다는 것을 보여준다. 즉, 현재 평판 시스템이 활동량을 과도하게 강조함으로써 성별 불균형을 확대하고 있음을 지적한다.

상세 분석

이 논문은 기존 연구가 주로 사용자 특성(평판, 투표 수 등)만을 통계적으로 비교해 왔던 한계를 넘어, 실제 답변의 질을 정량·정성적으로 평가한다는 점에서 의의가 크다. 먼저 genderComputer 도구를 이용해 사용자 이름과 국가 정보를 기반으로 성별을 추정했으며, 이를 인간 라벨링을 통해 약 90%(남성)·80%(여성)의 정밀도를 확보했다. 이후 두 단계의 인간 평가와 LLM 기반 자동 평가를 결합해 답변 품질을 측정했다. 인간 평가에서는 남·여 답변이 평균적으로 동등한 정확도와 완성도를 보였고, LLM(최신 GPT 계열)과의 일치율은 76%에 달해 자동 평가의 신뢰성을 입증했다.

통계 분석에서는 남성 사용자가 평균적으로 높은 평판 점수와 더 많은 업보트를 받는 반면, 여성 사용자는 질문을 더 많이 올리는 경향을 보였다. 특히 동일 질문에 남·여 답변이 모두 존재하는 경우, 여성의 활동량이 상대적으로 높아 ‘동질성(동성 선호)’ 현상이 나타났다. 그러나 “베스트 답변”으로 채택되는 비율을 남·여별로 비교했을 때 차이는 2% 미만으로, 성별 편향이 실질적인 선택에 미치는 영향은 미미했다.

핵심 인사이트는 다음과 같다. 첫째, 현재 평판 시스템이 “답변 수·업보트”와 같은 양적 지표에 과도하게 가중치를 두어, 활동량이 많은 남성에게 유리하게 작동한다. 둘째, 답변 품질 자체는 성별에 따라 차이가 없으며, 이는 LLM과 인간 평가 모두에서 일관되게 확인되었다. 셋째, 질문자(asker)의 주관적 판단이 베스트 답변 선택에 약간의 영향을 미칠 수 있지만, 이는 성별에 기반한 체계적 편향이라기보다 개별 상황에 따른 변동으로 해석된다. 마지막으로, 성별 인식 자체가 이진적으로 제한된 점과 genderComputer의 한계에도 불구하고, 연구 설계가 실제 커뮤니티에서 발생할 수 있는 성별 편견을 충분히 포착했다는 점을 강조한다.

이러한 결과는 평판 시스템을 재설계할 때 “활동량”보다 “답변의 실제 유용성·정확성”에 더 큰 비중을 두어야 함을 시사한다. 예를 들어 질문에 대한 기여도, 답변의 채택률, 내용 기반 자동 품질 점수 등을 복합적으로 고려하면 성별 격차를 크게 완화할 수 있다.