전 세계 다중기법 노래 데이터베이스 GTSinger

초록

**
GTSinger는 20명의 전문 가수가 9개 언어로 부른 80시간 이상의 고품질 보컬을 제공하며, 6가지 노래 기법에 대한 음소 수준 라벨링, 실제 악보, 스타일 라벨, 그리고 16시간 이상의 발화-노래 페어 데이터를 포함한다. 이를 통해 기술 제어 SVS, 기법 인식, 스타일 전이, 음성‑노래 변환 등 네 가지 주요 과제에 대한 벤치마크를 제시한다.

**

상세 분석

**
본 논문은 현재 공개된 노래 데이터셋이 품질, 언어·가수 다양성, 기법 라벨링, 실제 악보 제공, 과제 적합성 등에서 한계를 보이는 점을 정확히 짚어낸다. GTSinger는 이러한 문제점을 전면적으로 해결하기 위해 설계되었으며, 그 핵심 설계 요소는 다음과 같다.

첫째, 데이터 규모와 품질이다. 80.59시간(≈1,366곡)의 무반주 보컬을 48 kHz·24 bit WAV 형식으로 수집했으며, 이는 기존 공개 데이터셋 중 가장 방대한 규모이다. 전문 스튜디오에서 녹음하고, 가수마다 동일한 곡을 ‘자연 보컬(컨트롤 그룹)’과 ‘특정 기법 적용 그룹(기법 그룹)’ 두 번씩 녹음함으로써 동일한 멜로디·리듬 조건에서 기법 차이를 명확히 비교할 수 있다.

둘째, 다양한 언어·가수 구성이다. 중국어, 영어, 일본어, 한국어, 러시아어, 스페인어, 프랑스어, 독일어, 이탈리아어 등 9개 언어와 알토·소프라노·테너·베이스 등 4개 음역을 아우르는 20명의 전문 가수를 확보했다. 이는 제로샷 SVS와 스타일 전이 모델이 언어·음색 일반화 능력을 평가하기에 충분한 베이스를 제공한다.

셋째, 기법 라벨링이다. 혼성음(mixed voice), 팔세토, 브리시(breathy), 인두음(pharyngeal), 비브라토, 글리산도 등 6가지 흔히 사용되는 기법을 음소 수준에서 라벨링하였다. 라벨링은 자동 강제 정렬(Montreal Forced Aligner) 후, 음악 전공 annotator가 Praat를 이용해 경계·발음·무음 구간을 정밀 교정하는 2단계 절차를 거친다. 기법 그룹은 목표 기법을 집중 적용하되, 다른 기법이 자연스럽게 섞일 수 있음을 허용하고, 컨트롤 그룹은 목표 기법을 배제한다는 설계는 기법 제어 SVS와 기법 인식 연구에 실용적인 데이터 구조를 만든다.

넷째, 실제 악보 제공이다. 기존 데이터셋이 미디 기반의 ‘세밀 점수(fine‑grained score)’만 제공해 음표 길이가 비현실적으로 짧아 작곡에 부적합한 반면, GTSinger는 RMVPE와 ROSVOT을 이용해 F0를 추출·노트 피치를 결정하고, 음악 전문가가 템포·키·클레프를 검증·조정해 ‘현실적인 음악 악보(realistic music score)’를 MusicXML 형태로 만든다. 이는 실제 작곡가가 바로 활용할 수 있는 형태이며, SVS 모델이 실제 악보와의 정합성을 학습하도록 돕는다.

다섯째, 글로벌 스타일 라벨이다. 각 곡에 대해 노래 방식(팝·벨칸토), 감정(행복·슬픔), 템포(느림·보통·빠름), 음역(저·중·고) 등을 라벨링해 전역적인 스타일 제어가 가능하도록 했다.

여섯째, 음성‑노래 페어 데이터이다. 동일 가수가 같은 가사로 말한 16.16시간 분량을 제공해, Speech‑to‑Singing(STS) 변환 연구에 바로 활용할 수 있다.

마지막으로, 벤치마크 실험을 통해 네 가지 과제(기법 제어 SVS, 기법 인식, 스타일 전이, STS)를 최신 SOTA 모델에 적용하고, GTSinger가 제공하는 풍부한 라벨과 대규모 데이터를 활용했을 때 성능이 크게 향상됨을 입증했다. 전체적으로 데이터 수집·정제·라벨링·검수 과정에 인간 전문가가 2중 검증을 수행해 품질을 보증했으며, CC BY‑NC‑SA 4.0 라이선스로 자유롭게 사용 가능하도록 공개했다. 이러한 설계와 실험 결과는 노래 AI 연구의 새로운 표준 데이터베이스로 자리매김할 가능성을 보여준다.

**