편향된 현실 속 꿈의 직업 추천
본 논문은 LinkedIn의 대규모 직업 추천 시스템인 “Jobs You May Be Interested In”(JYMBII)에서 발생하는 사회적·데이터 수집·모델링 편향을 분석하고, 각 단계별 편향 완화를 위한 실용적 기법들을 제시한다. 오프라인 학습, 평가, 온라인 서빙 전 과정에서 편향이 어떻게 성능에 영향을 미치는지 설명하고, 무작위 데이터 수집, 탐색‑활용 전략, 샘플 가중치, 리플레이 평가 등 구체적 방법을 논의한다.
저자: Nadia Fawaz
본 논문은 LinkedIn의 핵심 직업 추천 서비스인 “Jobs You May Be Interested In”(JYMBII)를 사례로, 대규모 추천 시스템에서 발생하는 다양한 편향을 체계적으로 분석하고, 각 단계별 완화 방안을 제시한다.
먼저 서론에서는 JYMBII가 회원에게 맞춤형 직업 리스트를 제공하기 위해, 오프라인에서 지원 확률을 예측하는 머신러닝 모델을 학습하고, 이를 실시간 점수화·랭킹에 활용하는 전체 파이프라인을 소개한다. 모델은 학습 데이터, 모델 복잡도, 목표 함수, 평가 지표 등에 의해 학습 내용이 결정되며, 편향된 데이터가 투입되면 편향이 그대로 전파될 위험이 있다.
다음으로 편향의 출처를 세 부분으로 구분한다. 사회적 편향은 기존 직업 시장에서 남·여 고용 비율 차이, 산업별 성별 선호 차이 등으로, LinkedIn 내부 연구(
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기