소셜옴니: 옴니모달 대화 인터랙션 평가 벤치마크

본 논문은 옴니모달 대형 언어 모델(OML)이 인간과 자연스러운 대화를 구현하기 위해 반드시 갖추어야 할 사회적 인터랙션 능력을 체계적으로 평가할 수 있는 새로운 벤치마크 “SocialOmni”를 제안한다. 기존 OML 벤치마크는 정적 질문‑답변, 단일 모달 이해, 혹은 제한된 행동 평가에 머물러, 실제 대화에서 요구되는 실시간 화자 식별, 턴‑테이킹, 그리고 자연스러운 인터럽션 생성이라는 핵심 요소를 충분히 검증하지 못한다. 이를 보완하고자 저자들은 세 가지 핵심 차원—(i) Who(누가 말하는가), (ii) When(언제 끼어들어야 하는가), (iii) How(어떻게 끼어들어야 하는가)—를 중심으로 벤치마크를 설계하였다. 데이터 구축 단계에서는 공개 라이선스가 있는 영상들을 대상으로 15개의 대화 서브 카테고리(엔터테인먼트, 스포츠, 비즈니스, 일상 등)를 선정하고, 3,000여 개의 원본 영상을 수집했다. 이후 8명의 전문 어노테이터가 10~30초 길이의 다중 화자 대화 클립을 선별·분할했으며, 최종적으로 2,209개의 고품질 클립을 확보했다. 이 중 2,000개는 “Who” 인식 과제를 위한 다중 선택형 질문으로, 정답 외에 스피커와 텍스트가 각각 교차 오류를 일으키는 3개의 디스트랙터를 자동 생성해 시각·음성 오류를 명확히 구분한다. 나머지 209개는 “When & How” 생성 과제로, 각 클립에 대해 다중 레퍼런스 답변을 제공하고, 인간 평가자들이 다중 판정 방식을 통해 응답의 자연스러움, 적절성, 타이밍 정확성을 평가하도록 설계했다. 벤치마크는 또한 의도적으로 만든 시청각 불일치 시나리오(음성‑영상 불일치)를 포함해 모델의 멀티모달 정합성 및 견고성을 테스트한다. 평가 프로토콜은 프레임‑레벨 인식 진단과 다중 주관성 기반 생성 스코어링을 결합해, 인식 정확도와 생성 품질 사이의 상관관계를 정량화한다. 실험에서는 최신 12개 OLM을 대상으로 벤치마크를 적용했으며, 주요 결과는 다음과 같다. 첫째, 모델마다 “Who”, “When”, “How” 축에서 성능 차이가 크게 나타나, 한 축에서 우수한 모델이 다른 축에서도 동일하게 우수하지 않음을 확인했다. 둘째, 스피커 식별 정확도가 높은 모델이 반드시 자연스러운 인터럽션을 생성하지는 않았으며, 인식 중심 지표와 생성 품질 사이에 뚜렷한 디커플링(decoupling)이 존재한다는 점을 실증했다. 셋째, 시청각 불일치 상황에서 대부분의 모델이 성능 급락을 보였으며, 이는 현재 OLM이 멀티모달 정렬 및 갈등 해결 능력이 부족함을 의미한다. 논문은 이러한 결과를 바탕으로 OLM 설계 시 세 축을 동시에 고려해야 함을 강조한다. 구체적으로는 (1) 미세한 프레임‑레벨 시각·음성 정렬을 위한 고해상도 멀티모달 인코더, (2) 실시간 턴‑테이킹 신호(억양, 시선, 발화 길이 등)를 통합하는 정책 네트워크, (3) 상황 적합성을 유지하면서도 자연스러운 중단문을 생성할 수 있는 컨텍스트‑조건부 텍스트 디코더가 필요하다. 또한, SocialOmni가 제공하는 진단 데이터와 평가 프로토콜은 향후 OLM 연구에서 인식‑생성 간 상호작용을 정량화하고, 모델 개선을 위한 피드백 루프를 제공하는 중요한 도구가 될 것이다. 결론적으로, SocialOmni는 옴니모달 대화 시스템의 사회적 인터랙션 능력을 최초로 통합적으로 측정하는 벤치마크이며, 인식 정확도만으로는 대화 품질을 보장할 수 없다는 중요한 인사이트를 제공한다. 향후 연구는 이 벤치마크를 활용해 멀티모달 정합성, 실시간 턴‑테이킹, 그리고 자연스러운 인터럽션 생성 기술을 동시에 향상시키는 방향으로 나아가야 할 것이다.