긴형 오디오를 위한 계층적 활동 인식과 캡셔닝

초록

MultiAct 데이터셋은 주방에서 촬영된 9시간 분량의 긴형 오디오를 3단계(활동, 하위활동, 이벤트)로 계층화하고, 세밀한 캡션과 요약문을 제공한다. 논문은 이를 기반으로 계층적 인코더와 BART 기반 디코더를 결합한 통합 모델을 제안하고, 활동 분류·감지·시퀀스 예측·캡셔닝 네 가지 과제에서 베이스라인을 제시한다. 실험 결과는 현재 모델이 장기 의존성 및 정확한 경계 탐지에 한계가 있음을 보여준다.

상세 분석

본 논문은 기존 음향 데이터셋이 짧은 클립에 국한되고 평면적인 라벨링만 제공한다는 문제점을 정확히 짚어낸다. 이를 해결하기 위해 제안된 MultiAct은 17개의 주방 환경에서 수집된 8.97시간의 연속 녹음을 3계층(활동·하위활동·이벤트)으로 세분화하고, 각각에 대해 평균 628초(활동), 63.6초(하위활동), 4.91초(이벤트)의 길이를 갖는 풍부한 시간적 주석을 제공한다. 특히 이벤트 레벨은 44개의 세부 클래스로 7,312개의 인스턴스를 포함해, 미세한 소리 단위까지 포착한다. 이와 더불어 각 구간에 대해 세밀한 캡션과 고수준 요약을 병행 제공함으로써 다중 해상도 텍스트 생성 연구를 가능하게 한다.

모델 설계는 Auditory SlowFast(ASF) 백본을 기반으로, 빠른 경로와 느린 경로를 동기화해 고해상도 순간음과 장기 스펙트럼 구조를 동시에 추출한다. 추출된 프레임 토큰은 세 개의 계층적 인코더에 공유되며, 각각 이벤트, 하위활동, 활동 레벨의 분류·경계 검출·시퀀스 예측을 담당한다. 특히 하위활동 인코더는 BiGRU와 자체 어텐션을 결합해 시간적 흐름을 모델링하고, 활동 인코더는 하위활동의 임베딩을 통합해 상위 라벨을 예측한다. 텍스트 생성 부분은 사전학습된 BART 디코더를 활용해, 오디오 특성과 선택적 텍스트 조건(예: 하위활동 시퀀스)을 결합해 세밀 캡션과 요약을 동시에 생성한다.

실험에서는 네 가지 과제에 대해 강력한 베이스라인을 구축했으며, 주요 결과는 다음과 같다. 1) 계층적 분류에서는 활동 레벨에서 Cross-Attention 모델이 Top‑1 83.3%를 기록, 하위활동에서는 Self‑Attention 모델이 Top‑1 51.9%를 달성했다. 2) 활동 감지에서는 ActionFormer 기반 모델이 이벤트와 하위활동 모두 IoU 0.1에서 17%44% 정도의 mAP를 보였지만, IoU 0.5에서는 10% 이하로 급락, 경계 정확도에 한계가 있음을 드러냈다. 3) 시퀀스 예측에서는 CTC 기반 Conformer이 짧은 컨텍스트(24개의 하위활동)에서 AER 66~75%를 기록했으나, 전체 시퀀스를 학습할 경우 오히려 오류가 증가해 장기 의존성 모델링이 아직 미흡함을 확인했다. 4) 캡셔닝에서는 아직 상세 수치가 제시되지 않았지만, 다중 해상도 텍스트 생성이 가능함을 시연했다. 전반적으로 모델이 복합적인 계층 구조와 장기 관계를 어느 정도 포착했지만, 정확한 경계 탐지와 장거리 의존성 학습에서 성능 격차가 크게 나타난다. 이는 현재 음향 처리 모델이 비디오·텍스트 분야에서 사용되는 복합 어텐션·계층적 구조를 충분히 차용하지 못했기 때문이며, 향후 트랜스포머 기반의 장기 메모리, 멀티모달 사전학습, 혹은 그래프 기반 계층 모델이 필요함을 시사한다.