사용자 생성 오디오 자동 조직 분할 필터링

본 논문은 사용자 생성 오디오 콘텐츠가 폭증하는 현시점에서, 오디오 지문 기술만을 이용해 이러한 데이터를 자동으로 조직·분할·필터링하는 종합적인 방법론을 제시한다. 먼저, 랜드마크 기반 오디오 지문 알고리즘(Cotton & Ellis)을 사용해 각 녹음 클립을 고유한 랜드마크 집합으로 변환한다. 두 클립 사이에 일정 수 이상의 동일 랜드마크가 존재하면 이를 “공통 구간 매치”로 판단하고, 매치 시점의 오프셋을 반환한다. 반환된 매치 정보는 그래프 G=(V,E) 형태로 모델링된다. 여기서 V는 모든 클립을, E는 매치 관계를 나타내며, 각 엣지는 오프셋을 가중치로 갖는다. 양방향 엣지는 부호가 반대인 오프셋을 제공함으로써, 그래프 내에서 경로를 따라 가중치를 누적하면 임의 두 클립 사이의 절대 시간 차이를 계산할 수 있다. 이 그래프의 연결 컴포넌트는 동일 이벤트(예: 같은 콘서트 곡)의 클러스터가 되며, 이는 기존의 단순 메타데이터 기반 클러스터링보다 강인한 잡음 저항성을 가진다. 클러스터 내부에서는 임의의 대표 클립을 선택하고, 모든 다른 클립의 오프셋을 대표 클립에 대한 누적 가중치 합으로 계산한다. 이후 가장 이른 시작 시점을 가진 클립을 기준점으로 재조정해, 모든 클립이 0 이상의 절대 시작 시간을 갖도록 정렬한다. 이렇게 정렬된 클립들은 각 클립의 길이와 결합해 “시작·종료” 시점이 변할 때마다 새로운 세그먼트를 생성한다. 세그먼트는 (시작시간, 종료시간, 포함 클립 리스트) 형태의 튜플로 표현되며, 특정 시간 구간에 어떤 녹음이 겹치는지를 명확히 보여준다. 이러한 시간 기반 세그먼트는 이벤트 전체 타임라인을 비중첩 구간으로 나누어, 이후 분석·시각화에 유용한 구조를 제공한다. 품질 추정 단계에서는 이전 연구에서 제안한 “매칭 랜드마크 총합” 방식을 활용한다. 각 클립이 다른 클립들과 매치하면서 얻은 랜드마크 수를 합산해 상대 품질 점수를 산출한다. 세그먼트 내부에서는 오프셋이 0인 매치만을 고려해 잡음 영향을 최소화하고, 품질 점수를 기반으로 클립을 고품질→저품질 순으로 정렬한다. 이는 동일 시간 구간 내에서도 어떤 녹음이 청취 품질이 높은지를 판단할 수 있게 한다. 매치 과정에서 발생할 수 있는 오류(잘못된 매치와 반복 매치)를 제거하기 위해 지도학습 기반 필터링을 도입한다. 매치 결과에서 추출한 피처는 #ML_oqi(오프셋별 매칭 랜드마크 수), #TML(전체 매칭 랜드마크 수), #L_sq(쿼리 클립 랜드마크 수), #L_si(매치 클립 랜드마크 수) 등 네 가지이며, 다양한 조합을 실험한다. 학습 데이터는 198개의 녹음(23곡)에서 3098개의 매치 쌍을 추출해 1071개의 정상 매치와 2027개의 오류 매치(주로 반복 매치)로 구성한다. 클래스 불균형을 방지하기 위해 매 학습 시 클래스 균형을 맞추었다. 로지스틱 회귀, k‑Nearest Neighbours, Support Vector Machine 등 세 가지 분류기를 사용해 모델을 학습하고, 정규화 파라미터와 k값 등을 튜닝해 최적 성능을 도출한다. 실험 결과, SVM 기반 모델이 가장 높은 정밀도와 재현율을 보였으며, 필터링 후 클러스터의 순수도(정상 매치 비율)가 크게 향상되었다. 전체 파이프라인은 (1) 오디오 지문 생성·매치, (2) 그래프 기반 클러스터링, (3) 오프셋 기반 정렬·세그먼트 생성, (4) 품질 순위 매김, (5) 머신러닝 기반 오류 필터링의 순서로 진행된다. 저자들은 이 방법을 유튜브에서 수집한 콘서트 녹음 데이터에 적용해, 클러스터링 정확도, 세그먼트 타임라인 재현도, 품질 순위 정밀도 모두 높은 성과를 얻었다. 제안된 시스템은 대규모 사용자 생성 오디오 데이터베이스를 자동으로 구조화하고, 시간·품질 기반 검색·추천 서비스에 활용할 수 있는 실용적인 기반을 제공한다.