초단위가 만든 알고리즘 사용자 상호작용

초록

본 논문은 TikTok 추천 알고리즘과 사용자 경험의 시간적 상호작용을 이해하기 위해 영상 자체를 자동 분석하는 VCA(Video Content Analysis) 도구를 개발하고, 실제 사용자 실험·인터뷰·데이터 기부 3가지 HCI 방법론에 적용하였다. 영상 내용 클러스터링, 사용자 행동(좋아요·공유)과 추천 변화, 시퀀스 연속성의 만족도 영향, 그리고 영상 시청 예측까지 포괄적으로 조사한다. 주요 결과는 사용자가 소수 주제에 집중하지만 관심 주제가 자주 변하고, 알고리즘이 즉각적인 상호작용에 크게 반응하지 않으며, 추천 순서와 다양성이 만족도에 중요한 역할을 한다는 점이다.

상세 분석

이 연구는 기존 텍스트 기반 해시태그 분석이나 수동 영상 라벨링이 갖는 한계를 극복하기 위해 최신 Vision‑Language Model(VLM)을 활용한 자동 영상 임베딩을 도입한 점이 가장 혁신적이다. VCA는 Video‑LLaMA와 같은 트랜스포머 기반 모델을 사용해 영상의 시각·청각 정보를 통합한 고차원 벡터를 생성하고, 이를 클러스터링하여 인간이 직관적으로 이해할 수 있는 주제 그룹을 만든다. 이러한 콘텐츠‑중심 표현은 해시태그가 누락·오류·다의성을 보이는 상황에서도 일관된 의미 추출을 가능하게 한다.

연구 설계는 68명의 참여자를 대상으로 한 10분 실험 세션과, 2.65 백만 개 영상에 대한 데이터 기부(데이터 donation)라는 두 축으로 구성된다. 실험에서는 사용자가 TikTok 피드를 탐색하면서 실시간으로 참여도·콘텐츠 품질·인터페이스 만족도를 평가하도록 하였으며, 기부 데이터는 장기적(수개월) 행동 패턴을 분석하는 데 활용되었다.

RQ1‑RQ5에 대한 답변은 다음과 같다. 첫째(RQ1), 추천 영상의 주제는 초기에는 다양하지만 시간이 지날수록 개인화가 심화되며, 전체 트렌드와는 별개로 사용자의 미세한 관심 변화를 반영한다. 둘째(RQ2), 사용자의 ‘좋아요’·‘공유’와 같은 즉각적 행동은 다음 영상 추천에 큰 영향을 미치지 않으며, 알고리즘은 보다 장기적인 시청 패턴을 기반으로 업데이트한다는 점을 확인했다. 셋째(RQ3), 사용자는 과거 시청 이력과 일치하는 주제의 영상을 선호하지만, 관심이 고정되지 않고 지속적인 주제 변화를 즐긴다. 넷째(RQ4), 추천 순서의 연속성을 인위적으로 깨뜨리면(몇 개 영상을 임의로 삭제) 사용자 만족도가 급격히 감소함을 실험적으로 입증했다. 마지막(RQ5), VCA가 추출한 콘텐츠 임베딩을 이용해 사용자가 영상의 10 % 이상을 시청할지를 예측했을 때 정확도 70 %를 달성했으며, 이는 순수 행동 로그 기반 모델보다 우수한 성능을 보였다.

이러한 결과는 ‘알고리즘이 즉시 반응한다’는 일반적인 포크 이론을 반박하고, 대신 알고리즘이 장기적인 사용자 프로필을 구축하고, 다양성과 연속성을 유지하려는 경향이 있음을 시사한다. 또한, VCA와 같은 멀티모달 자동 분석 도구가 HCI 연구에서 대규모 영상 데이터를 효율적으로 다루는 새로운 패러다임을 제시한다는 점에서 학술적·실무적 의의가 크다.