스텝 기반 손실 없는 오디오 코덱 SNC

초록

SNC는 음악을 개별 스템으로 인코딩하고 저에너지 마스터링 잔차를 추가함으로써 FLAC 대비 38% 이상의 파일 크기 감소와 STOI 0.996이라는 인지 투명성을 동시에 달성한다. 멀티트랙 컨테이너와 메타데이터를 활용해 환경에 맞는 적응형 재생, 공간 렌더링, 사용자 리믹싱을 추가 저장 없이 구현한다.

상세 분석

본 논문은 기존 오디오 포맷이 “믹스된 오디오”를 단일 스트림으로 압축하는 구조적 한계에 주목한다. 저자들은 믹스 M(t)=∑_{i=1}^{N}S_i(t) 의 스펙트럼 복잡도가 높아 정보 엔트로피 H(M)가 크게 발생한다는 점을 이론적으로 증명하고, 각 스템 S_i(t)를 독립적으로 인코딩하면 엔트로피가 부분합보다 작아 압축 효율이 향상된다는 가설을 제시한다(H(S_i) < H(M)). 이를 실증하기 위해 Opus VBR 코덱을 스템별 비트레이트(보컬 128 kbps, 드럼·베이스·기타 96 kbps)와 잔차용 64 kbps로 할당하고, Matroska(.mkv/.snc) 컨테이너에 다중 오디오 트랙과 JSON 메타데이터를 결합하였다.

잔차(R(t)=M(t)−∑̂S_i(t))는 마스터링 EQ, 버스 컴프레션, 스템 분리 오류 등을 포함하며, RMS -29.97 dB(에너지 비율 6.41 %)로 측정돼 전체 파일 크기의 13.5%에 불과하다. 이 잔차를 Opus 64 kbps로 압축함으로써 손실 없는 재구성이 가능해졌으며, 결과적으로 전체 파일은 7.76 MB로 FLAC(12.55 MB) 대비 38.2% 감소하였다. 객관적 품질 지표인 STOI 0.996, 스펙트럼 수렴 0.0402, SNR 24.86 dB는 모두 설정한 임계값을 초과해 인지 투명성을 입증한다.

기술적 강점은 다음과 같다. 첫째, 스템 별 비트레이트 조절을 통해 특정 악기나 보컬을 우선적으로 고품질로 유지하면서 전체 비트레이트를 낮출 수 있다. 둘째, 잔차 레이어가 마스터링 단계의 비선형 처리까지 복원하므로, 단순 lossy 코덱에 비해 사실적인 믹스 재생이 가능하다. 셋째, 메타데이터에 XYZ 좌표, 스프레드 각, 환경 조건 등을 명시함으로써 헤드폰 바이노럴 렌더링, 스피커 배열에 맞는 객체 기반 재생, 노이즈 환경에서 보컬 부스트 등 적응형 재생 시나리오를 추가 저장 없이 구현한다. 넷째, 오픈소스 구현과 Matroska 기반 표준화는 라이선스 비용 없이 다양한 플랫폼에 배포할 수 있게 한다.

하지만 몇 가지 한계도 존재한다. 스템의 품질이 잔차 에너지에 직접적인 영향을 미치며, 현재 실험에서는 AI 기반 분리 서비스를 사용했기 때문에 잔차 RMS가 -40 dB 목표보다 높았다. 또한 스템 제공이 전제된 비즈니스 모델이 필요하고, 다중 트랙 파일을 스트리밍할 경우 네트워크 대역폭 관리가 추가 과제가 된다. 장르별 압축 효율 차이도 제시했듯, 고밀도 EDM 트랙에서는 30~35% 감소에 그칠 가능성이 있다. 전반적으로 이 논문은 스템 기반 저장이 손실 없는 압축과 풍부한 기능을 동시에 제공할 수 있음을 실험적으로 증명했으며, 차세대 오디오 배포 인프라의 설계 방향을 제시한다.