RecruitView 인재 채용을 위한 멀티모달 성격 및 면접 성과 예측 데이터셋

초록

자동화된 성격·소프트 스킬 평가는 멀티모달 행동 데이터에서 제한된 데이터와 인간 특성의 기하학적 구조를 포착하지 못하는 기존 방법들 때문에 여전히 어려운 과제이다. 본 논문에서는 300명 이상이 참여한 2,011개의 자연스러운 비디오 인터뷰 클립과 12개 차원(빅 파이브 성격 특성, 전체 성격 점수, 6가지 면접 성과 지표)에 대한 27,000개의 쌍대 비교 판단을 포함하는 RE‑CRUITVIEW 데이터셋을 소개한다. 이를 활용하기 위해 우리는 하이퍼볼릭, 구형, 유클리드 공간을 동시에 모델링하는 기하학적 딥러닝 프레임워크인 Cross‑Modal Regression with Manifold Fusion (CRMF)를 제안한다. CRMF는 계층적 특성 구조를 포착하는 하이퍼볼릭 전문가 네트워크, 방향성 행동 패턴을 학습하는 구형 전문가 네트워크, 연속적인 성과 변화를 다루는 유클리드 전문가 네트워크를 각각 구성하고, 입력 특성에 따라 전문가들의 기여도를 동적으로 조정하는 어댑티브 라우팅 메커니즘을 적용한다. 각 공간의 접선 공간에서 수행되는 원칙적인 융합을 통해 CRMF는 대형 멀티모달 모델에 비해 40‑50% 적은 학습 파라미터로 우수한 성능을 달성한다. 광범위한 실험 결과, CRMF는 Spearman 상관계수에서 최대 11.4%, Concordance Index에서 6.0%의 향상을 보이며 기존 베이스라인을 크게 능가한다. RE‑CRUITVIEW 데이터셋은 https://huggingface.co/datasets/AI4A‑lab/RecruitView 에서 공개한다.

상세 요약

본 논문이 제시한 RE‑CRUITVIEW 데이터셋은 현재 인적자원(HR) 분야에서 활용 가능한 가장 규모가 큰 멀티모달 인터뷰 데이터 중 하나로 평가할 수 있다. 2,011개의 비디오 클립은 실제 채용 현장을 모사한 자연스러운 상황에서 수집되었으며, 300명 이상의 지원자를 포함함으로써 연령·성별·문화적 다양성을 어느 정도 확보했다. 특히 27,000개의 쌍대 비교 판단이라는 라벨링 방식은 절대점수 기반 평가보다 인간 인지에 더 근접한 상대적 평가를 제공한다는 점에서 의미가 크다. 이는 기존 데이터셋이 주로 설문 기반 혹은 전문가 점수에 의존해 왔던 한계를 극복하고, 인간 판단의 미묘한 차이를 학습에 반영할 수 있게 한다.

데이터 라벨은 빅 파이브 5요인, 전체 성격 점수, 그리고 면접 수행을 나타내는 6가지 메트릭으로 구성돼 있다. 이러한 다차원 라벨링은 ‘성격’과 ‘업무 적합성’이라는 두 축을 동시에 모델링하도록 요구한다. 따라서 단일 모달(예: 텍스트)이나 단순한 다중 모달(예: 텍스트+오디오) 접근법으로는 충분히 표현하기 어려운 복합적인 관계를 포착해야 한다.

논문에서 제안한 CRMF는 이러한 요구에 부응하기 위해 기하학적 딥러닝을 도입했다. 하이퍼볼릭 공간은 트리 구조와 같은 계층적 관계를 효율적으로 표현하므로, 성격 특성 간의 상위‑하위 관계(예: 외향성 → 사교성)를 모델링하는 데 적합하다. 구형 공간은 방향성 정보를 보존하는 특성이 있어, 표정·제스처와 같은 비언어적 행동의 패턴을 학습하는 데 유리하다. 반면 유클리드 공간은 연속적인 성능 변동을 나타내는 회귀 문제에 전통적으로 사용되어 왔으며, 면접 점수와 같은 스칼라 값을 예측하는 데 효과적이다. 각각의 전문가 네트워크가 전용 공간에서 최적화된 표현을 학습하고, 어댑티브 라우팅 메커니즘이 입력 영상의 특성(예: 감정 표현 강도, 언어 복잡도 등)에 따라 각 전문가의 가중치를 동적으로 조정한다는 설계는 매우 혁신적이다. 이는 고정된 가중치 방식보다 데이터마다 최적의 기하학적 표현을 선택하도록 함으로써 일반화 성능을 높인다.

또한, 접선 공간에서의 융합(tangent space fusion)은 서로 다른 곡률을 가진 임베딩을 일관된 형태로 결합할 수 있게 해준다. 이 과정에서 비선형 변환을 최소화하고, 파라미터 수를 크게 늘리지 않으면서도 다중 모달 정보를 효과적으로 통합한다는 점은 실용적인 장점이다. 실험 결과에서 CRMF가 파라미터 수를 40‑50% 절감하면서도 Spearman 상관계수에서 11.4%, Concordance Index에서 6.0% 향상된 것은 이러한 설계의 효율성을 입증한다.

하지만 몇 가지 한계점도 존재한다. 첫째, 데이터셋이 영어 기반 인터뷰에 국한돼 있어 문화·언어적 편향이 존재할 가능성이 있다. 다국어·다문화 확장이 필요하다. 둘째, 쌍대 비교 라벨은 상대적 판단을 제공하지만 절대적인 기준점이 없어 실제 채용 의사결정에 바로 적용하기 위해서는 추가적인 스케일링이 요구된다. 셋째, 하이퍼볼릭·구형·유클리드 세 공간을 동시에 학습하는 구조는 구현 복잡성을 높이며, 최적의 라우팅 정책을 찾기 위한 하이퍼파라미터 튜닝이 까다롭다. 마지막으로, 현재 실험에 사용된 베이스라인이 주로 전통적인 멀티모달 Transformer 기반 모델에 국한돼 있어, 최신 그래프 신경망이나 대규모 사전학습 비디오 모델과의 비교가 추가된다면 성능 차이를 보다 명확히 평가할 수 있을 것이다.

향후 연구 방향으로는 (1) 다국어·다문화 데이터 수집을 통한 일반화 검증, (2) 절대 점수 라벨링과 결합한 하이브리드 평가 체계 구축, (3) 라우팅 메커니즘을 강화학습 기반으로 전이시켜 보다 정교한 전문가 선택을 구현, (4) 실시간 채용 파이프라인에 적용 가능한 경량화 모델 설계 등이 제시될 수 있다. 전반적으로 RE‑CRUITVIEW와 CRMF는 HR 분야에서 자동화된 성격·소프트 스킬 평가 연구에 새로운 기준을 제시하며, 기하학적 딥러닝이 멀티모달 행동 분석에 미치는 잠재력을 잘 보여준다.