시간‑주파수 패치 기반 오디오 워터마킹 프레임워크

본 논문은 오디오 워터마킹 분야에서 아직 충분히 탐구되지 않은 시간‑주파수(TF) 도메인 접근법을 체계적으로 제시한다. 저자는 먼저 기존 연구를 검토하면서, 시간 도메인과 변환 도메인(주로 주파수 도메인)에서 각각 워터마크를 삽입하는 방식이 주류임을 밝히고, 이러한 개별 접근법이 갖는 한계—특히 복합적인 시간·주파수 변동을 가진 음성·음악 신호에 대한 최적화 부족—를 지적한다. 이를 해결하기 위해 제안된 프레임워크는 다음과 같은 흐름을 따른다. 1. **TF 변환 및 이미지화** - 입력 오디오 신호 x를 비중첩 프레임으로 나눈 뒤, 각 프레임에 힐버트 변환을 적용해 복소수 형태로 만든다. - 이후 각 프레임에 대해 비대칭 STFT(또는 STCT)를 수행해 복소수 TF 스펙트로그램 Y를 얻는다. - 주파수 대역을 f₁~f₂(예: 60 Hz~2800 Hz)로 제한해 ˜Y라는 서브 매트릭스를 만든다. 2. **패치 기반 특징 추출** - ˜Y를 W×W 크기의 정사각형 패치로 겹치지 않게 분할한다. 여기서 W는 M(주파수 샘플 수)보다 작으며, 전체 패치 수는 M·(N/M₀)/W²가 된다. - 각 패치 Pⱼ의 평균 에너지 Eⱼ를 계산하고, 에너지 오름차순으로 정렬한다. - 워터마크 비트 수 P(예: 32비트)만큼 에너지가 가장 낮은 패치를 선택하고, 이를 벡터화해 특징 벡터 fᵢ∈ℂ^{W²}를 만든다. 3. **스프레드 스펙트럼 삽입** - 각 특징 벡터에 길이 W²인 의사 난수 시퀀스 p를 곱해 SS(Spread Spectrum) 혹은 ISS(Improved Spread Spectrum) 방식으로 삽입한다. - 삽입 식은 fʷᵢ = fᵢ + (α·w(i) − I·Φ)·p이며, 여기서 α는 삽입 강도, w(i)∈{+1,−1}는 워터마크 비트, I∈{0,1}은 SS(0)·ISS(1) 선택, Φ는 호스트 신호 간섭을 의미한다. - ISS는 Φ를 보정함으로써 호스트 간섭을 최소화한다. 4. **투명성 제어(ODG 히어스틱 튜닝)** - 워터마크 삽입 후, 원본 신호 x와 워터마크 신호 xʷ 사이의 ODG(Objective Difference Grade)를 측정한다. ODG는 −4~0 범위이며, 0에 가까울수록 청취자에게 인지되지 않는다. - 목표 ODG(예: −1.5)를 설정하고, 현재 ODG가 목표보다 높으면 α를 소폭 증가, 낮으면 α를 감소시키는 루프를 수행한다. 이 과정을 통해 삽입 강도를 자동으로 최적화한다. 5. **역변환 및 복원** - 수정된 TF 서브 매트릭스 ˜Yʷ를 원본 ˜Y에 대체하고, 역 STFT를 적용해 시간 도메인 워터마크 신호 xʷ를 복원한다. 복원된 신호는 실수부만 사용한다. 6. **워터마크 검출** - 수신 측에서는 동일한 프레임·STFT 절차를 거쳐 ˜Yʷ를 재구성하고, 동일한 패치 선택 기준으로 가장 낮은 에너지 패치를 찾아 fʷᵢ를 만든다. - 검출은 sgn(⟨fʷᵢ, p⟩/‖p‖²)로 수행되며, ISS일 경우 Φ 보정 덕분에 검출 정확도가 크게 향상된다. 7. **실험 및 평가** - 저자는 STFT와 STCT 두 가지 변환을 비교했으며, STFT가 에너지 분포가 더 균일해 패치 선택이 명확하고 복원 정확도가 높아 최적임을 확인했다. - 다양한 공격(가우시안 노이즈, 앰플리튜드 스케일링, MP3/AAC 압축, 필터링 등) 하에서 BER(Bit Error Rate)과 ODG를 측정했다. 제안 방식은 기존 전통적인 SS/ISS 방식에 비해 BER이 현저히 낮고, ODG가 목표 수준을 유지했다. - 특히, 워터마크가 차지하는 TF 영역이 전체 스펙트로그램의 극히 일부에 국한되므로, 강도 높은 신호 구간을 피하면서도 패치 내부의 시간·주파수 상관성을 활용해 공격에 대한 복원력을 강화한다. **결론 및 기여** - TF 이미지 기반 ‘패치’ 선택을 통해 워터마크 삽입 위치를 데이터‑드리븐하게 결정, 이는 기존 고정 대역 혹은 전체 프레임 삽입 대비 투명성과 강인성을 동시에 개선한다. - ODG 기반 자동 강도 조정 메커니즘을 도입해 청취 품질을 정량적으로 보장한다. - ISS와 결합한 2D 특징 벡터 삽입으로 호스트 간섭을 효과적으로 억제, 복원 정확도를 높인다. **향후 연구 방향** - 고해상도 TF 분석(멀티레졸루션 웨이브렛, 변형 STFT 등)과 결합해 더 정교한 패치 선택 및 더 작은 삽입 영역 구현. - 무작위 인덱스 배열을 비밀키로 활용하는 키 관리·전송 프로토콜 설계. - 실시간 스트리밍 환경에서 ODG 피드백 루프를 경량화하는 알고리즘 최적화.