다중레벨 인식 기반 대화 행동 모델링과 그래프‑오브‑씽크 프레임워크

초록

본 논문은 인간 대화의 ‘생각의 사슬’을 고수준 의도와 저수준 발화 행위로 계층화하고, 이를 실시간 그래프‑오브‑씽크(Graph‑of‑Thoughts, GoT)로 추론·생성하는 풀듀플렉스 대화 시스템을 제안한다. 고품질 합성·실제 데이터 120시간을 활용한 학습으로, 행동 감지 정확도와 설명 가능성을 동시에 달성한다.

상세 분석

이 연구는 풀듀플렉스 음성 대화에서 인간이 말할 때마다 일어나는 인지·추론 과정을 “다중레벨 인식 → 그래프‑오브‑씽크 추론 → 행동 생성”이라는 세 단계 파이프라인으로 구체화한다. 첫 번째 단계는 고수준 의도(정언, 명령, 약속, 인정)와 저수준 발화 행위(백채널, 차단, 턴테이킹, 연속)를 동시에 예측하는 계층적 스피치 액트 감지 모델이다. 논문은 고수준 라벨이 저수준 라벨의 조건부 분포에 강하게 영향을 미친다는 실증적 분석(Tabl​e 1)을 제시하고, 이를 통해 라벨 간 인과 관계를 명시적으로 모델링한다.

두 번째 단계인 GoT는 매 초마다 관찰된 스피치 액트를 노드로, 시간적·인과적 연결을 엣지로 하는 동적 그래프를 구축한다. 그래프는 최신 노드와 과거 컨텍스트를 슬라이딩 윈도우 방식으로 연결해, 트랜스포머 기반 인코더가 “다음 행동 예측 + 이유 텍스트 생성”을 동시에 수행하도록 설계되었다. 이때 이유 텍스트는 인간이 직접 검증한 근거 문장(앵커)들을 활용해 사전 학습된 GPT‑5에 조건부 프롬프트로 제공함으로써, 설명 가능성을 사후가 아니라 학습 단계부터 내재화한다.

데이터 측면에서 저자들은 ConversationGoT‑120h라는 120시간 규모의 하이브리드 코퍼스를 구축했다. 대화 텍스트는 GPT‑4o가 화자 프로필·주제 체인을 설계하도록 하고, 각 1초 구간마다 고·저수준 라벨과 근거 문장을 인간 검증을 거쳐 부착한다. 음성은 LibriSpeech 기반 1,166명의 목소리를 CosyVoice2로 합성해 실제 대화와 유사한 억양·노이즈를 재현한다. 이러한 설계는 (1) 엄격한 인과적(미래 누수 방지) 라벨링, (2) 실시간 스트리밍 요구에 맞는 1초 단위 granularity, (3) 다양한 화자·주제·환경을 포괄하는 일반화 가능성을 동시에 만족한다.

실험에서는 합성 데이터와 실제 풀듀플렉스 대화(예: ARS‑2025 데이터셋)를 모두 사용해 모델을 평가한다. 행동 감지 정확도는 기존 Next‑Segment 혹은 Next‑Dual‑Token 모델 대비 7~12%p 향상되었으며, 이유 텍스트는 BLEU‑4와 인간 평가에서 “합리적·일관적”으로 높은 점수를 받았다. 특히, 고수준 의도와 저수준 행동 사이의 인과 그래프를 시각화한 결과, 모델이 실제 인간 대화에서 관찰되는 ‘의도‑행동’ 패턴을 재현함을 확인했다.

한계점으로는 (1) 1초 granularity가 모든 대화 상황에 최적은 아니며, 초고속 인터럽트 상황에서는 미세한 타이밍 차이를 놓칠 수 있다. (2) 현재는 음성 입력을 단일 채널로 다운믹스했는데, 스피커 구분이 중요한 멀티채널 시나리오에서는 추가 연구가 필요하다. (3) 이유 생성에 GPT‑5를 사용함으로써 모델 크기와 추론 비용이 증가해, 저전력 디바이스 적용에는 최적화가 요구된다.

전반적으로 이 논문은 “대화 행동을 예측하는 것이 아니라, 행동을 ‘이해하고’ 설명한다”는 새로운 패러다임을 제시한다. 계층적 라벨링, 인과 그래프, 고품질 데이터셋이라는 세 축을 결합해 풀듀플렉스 음성 인터페이스의 실시간·설명 가능성을 크게 확장했으며, 향후 인간‑AI 협업 대화, 실시간 상담, 로봇 인터랙션 등에 적용 가능성이 높다.